北京
2023年初，ChatGPT刚火那会儿，很多人以为AI是个黑箱魔法。OpenAI工程师Shyamal Anadkat最近在一篇技术博客里把它拆成了六个零件：token、模型、prompt、上下文、检索和代理。说白了，这玩意儿不是一个人在战斗，是个流水线工厂。
最反直觉的是token。Anadkat打了个比方：模型读的不是单词，是碎片。「"unbelievable"会被切成"un"、"believ"、"able"三块。」中文更惨，一个"你好"可能拆成2-4个token。这就是为什么同样的回答，英文比中文便宜——按token计费，中文用户天生吃亏。
prompt工程这门手艺，Anadkat承认被过度神话了。他透露内部测试数据：GPT-4在单次prompt下的代码正确率只有34%，但给3轮对话修正，能拉到71%。「用户以为AI不懂人话，其实是人话没说全。」上下文窗口就是AI的短期记忆，4K和128K的区别，相当于让实习生背一页纸还是背一本书去考试。
RAG（检索增强生成）是去年企业落地的热门方案。Anadkat举了个Salesforce的例子：把内部知识库接进模型，客服回答的幻觉率从23%降到4%。但代价也明显——检索慢半拍，用户多等2秒，跳出率涨15%。
Anadkat在文末埋了个细节：OpenAI内部有个"上下文压缩"项目，专门研究怎么让AI记住更多、忘得更慢。目前进度保密，但他说了一句，「现在的128K，两年后看会像4K一样可笑。」
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
