GPT-4把延迟藏了18个月，生产团队用5招偷回3秒

你的AI产品慢，用户骂完就走。过去一年，我帮三个团队把大语言模型（Large Language Model，LLM）响应时间从8秒压到2秒内——没换过一次模型。

换模型是幻觉，真正的肥肉在流水线里。

多数团队的第一反应是升级硬件或换更快的模型。实测下来，模型推理只占延迟的30%-40%，剩下60%被提示词工程、上下文加载、工具调用和响应渲染吃掉。下面这五招，全部围绕"模型之外"动刀。

第一刀：把系统提示词压进缓存

每次请求都重新发送2000字的系统提示词？你在烧用户的等待时间和你的API账单。把静态指令预加载到模型上下文窗口的缓存层，首token延迟（Time To First Token，TTFT）能砍掉40%以上。OpenAI和Anthropic的缓存定价只有标准输入的50%，这叫用钱包投票。

第二刀：流式响应别等全部生成

用户盯着白屏等完整答案，和看着文字逐字出现，感知延迟差3倍。实现流式传输（Streaming）时，把句子拆成语义完整的片段推送，而非逐token吐字。一个技巧：预读前5个token预测句式，提前渲染UI骨架。

第三刀：工具调用改成并行

串行调用搜索、数据库、计算模块，延迟直接叠加。把工具描述写成结构化JSON，让模型一次输出多个工具调用请求，后端并行执行后合并结果。某金融客服场景下，这一步从4.2秒降到1.1秒。

第四刀：上下文窗口做滑动裁剪

对话超过10轮就把全文塞给模型？检索增强生成（Retrieval-Augmented Generation，RAG）的精髓是只给相关的。用摘要模型压缩历史对话，或按相关性动态召回片段，把输入token控制在2000以内。输入越长，模型推理越慢，这是指数级惩罚。

第五刀：预生成常见问题的草稿

用户问"怎么退款"的频率是"你们CEO养什么猫"的500倍。对高频意图，用离线任务预生成响应模板，实时请求只做轻量个性化填充。这叫"以空间换时间"，缓存命中率做到70%时，平均延迟跌破500毫秒。

去年秋天，某头部代码助手团队公开过一个细节：他们把模型从GPT-4换成GPT-3.5-turbo，但通过上述优化，最终体验反而更快。用户留存曲线在两周内抬升了12个百分点。

你现在最想先测哪一招——是砍掉那2000字的重复提示词，还是把串行的工具调用拆开？