别再用AI盲盒了：10个概念决定你的效率边界

该图片可能由AI生成

如果你每天都在用AI，却从未思考过它如何工作，那你很可能只是在用一个昂贵的打字机。

+ Token：模型眼中的计量单位

当你向ChatGPT输入一段话，它读取的不是文字，而是token。大约每3-4个字符构成一个token，“Unbelievable”是4个token，“AI”是1个。

这不是技术细节，而是真实的工作边界。每个模型都有token上限，超出后，它会开始遗忘对话前半部分的内容。很多人把50页文档塞进提示词，然后抱怨输出质量差，问题就出在这里。模型根本没“读完”你的文档，它在半路就用完了预算，剩下的都是猜测。更短、更密集的上下文，永远能换来更好的输出。

+ 上下文窗口：模型的白板有边界

上下文窗口是模型的工作记忆，你的提示词、对话历史、附加文档，全部都要挤进这个窗口。把它想象成一块白板，满了就得擦掉旧内容腾空间。

大多数人把上下文窗口当作无限存储，这是幻觉。模型不会记得上周的对话，也不会记得3小时前另一个会话里你说了什么。每次会话都是从零开始，如果你想让它“记住”什么，必须手动放回去。

+ 温度值：创造力的刻度盘

温度控制着模型的“创造性”。低温度（0.1）意味着精准、可预测、近乎机械；高温度（0.9）则创意十足、充满惊喜、偶尔失控。

写代码或提取数据？把温度调低，你要的是准确而非创意。头脑风暴或写营销文案？提高温度，让模型冒点险。一个参数，输出质量天差地别。

+ 嵌入：AI如何理解意义

嵌入是AI理解含义而非文字的方式。每个词、句子或文档都会被转换成一串数字（向量），相似的含义会得到相似的数字。这就是为什么搜索“汽车”能返回“车辆”或“交通工具”的结果。

这是RAG系统、语义搜索和推荐引擎背后的引擎。当你的AI在回答前“检索”相关文档时，它其实在比较嵌入向量，寻找意义上最接近的内容。如果你在构建任何处理数据的AI产品，必须理解这一点。

+ RAG：不是让模型更聪明，而是让它见多识广

RAG（检索增强生成）等于在模型回答前，给它注入新鲜、相关的信息。它不依赖训练数据（那些有截止日期的知识），而是实时提取数据并注入提示词。这就是AI能回答你公司特定文档问题的原因。

但人们常误解的是：RAG不会让模型变聪明，只会让它变得见多识广。糟糕的检索等于糟糕的答案。即便是最强的模型，如果你喂给它错误的上下文，它也会胡编乱造。RAG系统的质量几乎完全取决于检索质量，而非模型本身。

+ 微调：最后的手段，不是第一步

微调是拿一个预训练模型，用你自己的数据继续训练它。就像雇一个全科医生，然后送他去读6个月的外科专科。同样的基础智力，现在专攻你的特定场景。

但所有人都搞错了：微调不是第一步，而是最后手段。在微调之前，先试试更好的提示词、试试RAG、试试少样本示例。微调昂贵、缓慢，还会把你锁定在某个模型版本上。只有在其他方法都失败后才考虑它。

+ 幻觉：模式完成的副作用

幻觉是AI自信地陈述完全错误的事实。它不是在撒谎，它甚至不知道自己错了。它只是基于训练数据完成模式，有时模式会指向一个听起来对但实际错误的方向。

可怕的是：陈述越自信，人们越相信。解决方案不是“用更聪明的模型”，而是给模型一个可依据的来源。使用RAG，要求它引用出处，告诉它“不知道就说不知道”。当你限制模型的活动范围，幻觉会大幅减少。

+ 代理（Agent）：不是聊天机器人，而是分布式系统

AI代理不只是聊天机器人。它是一个能采取行动的模型，搜索网页、编写运行代码、发送邮件、调用API，循环往复直到任务完成。模型根据刚发生的事情决定下一步做什么。

你见过的大多数演示版“代理”都是假的。真正的代理需要记忆、错误处理、工具使用、回退逻辑和安全防护。大多数创业公司发布的，不过是调用3个API端点就自称“自主”的提示词。真正的代理是分布式系统，要用那样的思维构建它们。

+ 系统提示词：看不见的规则层

系统提示词是每次对话上方的隐形指令层。你看不见它，模型看得见。在这里定义角色、规则、语气、约束和任务，这是通用聊天机器人和专业工具的分水岭。

大多数人纠结用户消息，却忽略系统提示词，这是本末倒置。弱的系统提示词意味着模型每次都要猜你的意图；强的系统提示词意味着模型在你开口前就知道自己是谁、在做什么、如何行事。

+ 上下文工程：新技能正在取代提示词工程

提示词工程关乎你问什么，上下文工程关乎模型看到的一切：包含什么、排除什么、顺序如何、格式怎样。

今天最优秀的AI工程师不是在写巧妙的提示词，而是在做架构决策：什么信息进入上下文窗口，何时检索何时预加载，什么该总结什么该逐字保留，如何在长任务中构建记忆。掌控上下文，就是掌控AI。

简评：

你的效率边界，并不由OpenAI或Anthropic决定，而由你对这10个概念的掌握程度决定。

入门级： 懂得Token和上下文窗口，不乱喂数据。

进阶级： 善用RAG和System Prompt，解决幻觉问题。

大师级： 掌握上下文工程与代理（Agent）架构，将AI封装为可自动化的智能体。

停止把AI当成盲盒，开始把它当成一套精密的工程系统来构建。

x.com/alex_prompter/status/2024073869452358017