演示五分钟，上线卡半年：AI项目到底漏了哪几步？

一个AI演示只要一个下午：模型读完文档，吐出一段摘要，会议室里的人都点头。然后项目停摆好几个月——因为那场演示只跑过五个精挑细选的样本，没人知道第五千个真实样本进来时它会干什么。

从概念验证到生产，差距主要不在换一个更强的模型。它落在演示阶段被跳过的一堆普通工程活上：输出对不对、能不能塞进现有软件、它能动什么、每次请求花多少钱、上线节奏怎么控，以及一个糟糕的日子别让所有客户一起遭殃。

下面这份清单，是把AI功能推向生产时要逐条过的东西。

先建评测集，再谈调优

能上线的团队和卡住的团队，最大的分野是一套评测集：一批真实输入，配上“正确输出长什么样”，并且能自动打分。没有它，每次改提示词都是猜，每次换模型都是赌。

• 用真实数据，不用编造的样本。从生产日志、工单、文档里捞，包括那些脏的、乱的。
• 留一份不参与调优的集合。在一部分样本上调提示词，在另一部分上报告结果，别自己给自己判卷。
• 打该打的分。分类任务看每一类的准确率，抽取任务看字段级正确性，生成文本用一张具体的“是/否”清单，比如“回复有没有编造源文档里没有的事实”，而不是含糊的1到10分。
• 每一次生产事故都补进集合。评测集应该跟着功能一起长大。

让模型当裁判，就先给裁判打分

开放式输出，常见做法是让第二个模型按清单给第一个模型打分，也就是“LLM当裁判”。这往往是唯一能规模化的选项，也很容易做歪：一个没校准的裁判会痛快放过烂答案、毙掉好答案，最后你是在朝它的怪癖优化。

可行的办法是：让人按同一张清单标注一批输出，再让裁判跑同一批，两边对比。假通过和假失败要分开统计——一个什么都放行的裁判，平均值看起来漂亮得很。反复改清单和裁判提示词，直到它和人工标注的一致率足够高，再拿它去跑全量。模型自报的置信度不能替代这一步，要对着标注量。

五个从人工判卷方式里写出来的具体“是/否”问题，比一个“质量打几分”好校准得多。

让输出适配你的软件

如果下游代码要消费模型输出，“通常是合法JSON”就是一起等着发生的生产事故。主流模型API支持按schema约束的结构化输出：你给一个schema，响应按它生成。即便如此，进数据库之前还是要校验。

在一个为领导力咨询公司做的AI评估与报告应用里，模板由自由文本主题生成带类型的JSON，高管摘要遵循固定的章节契约。给摘要器的输入是带标签的结论，而不是原始分数，这消掉了一整类“语气笃定、数字全错”的表述。给模型更少的东西——只给它需要的——常常同时提升准确率、降低成本。

管住它能做什么，让动作可以重复执行

原型通常拿着一把管理员API密钥就跑起来了。要执行动作的生产AI，必须以具体用户的身份、带该用户的权限运行，这样它永远做不了超出它所代表的那个人权限的事。

• 动作走已有的、经过校验的API，不要直接写数据库，业务规则才能在一个地方强制执行。
• 写操作做成幂等。网络重试、模型重试、重复的工具调用都会发生，不能因为一次请求超时就把同一张发票发两遍。
• 不可逆动作要确认，尤其当AI读取的是不可信内容（邮件、文档），里面可能藏着注入的指令。
• 每个动作都记日志：谁、输入什么、结果如何。

给一家咨询公司做的远程MCP服务器就是按这套默认值来的：员工可以在Claude里跑操作，每个工具代理一个已有的鉴权端点，继承登录用户的权限。

按模型会慢、会错、会不可用来设计

• 超时和带退避的重试，并且区分每分钟限流、每日配额和真正的错误——三种情况要三种应对。
• 供应商返回配额错误时，把重试时间告诉用户，别静默失败。
• 准备非AI的兜底。摘要失败就展示原文，分类失败就转给人。功能是降级，不是崩掉。
• 慢活丢后台。别为一个30秒的模型调用把Web请求挂在那儿，排队，然后流式返回或通知。

算清每次请求的成本

从第一天起就按功能、按客户、按模型记录token和成本。定价决策——包含在套餐里、按量计费、还是加购——就变成了算术题，跑飞的循环也能早发现。它还让你敢把简单步骤挪到小模型上：评测分数守得住，省下来的就是真金白银。

把每一步都留痕

客户报来一个奇怪的回答时，支持人员需要看到模型到底收到了什么、调了哪些工具、返回了什么、每一步花了多久。Langfuse这类可观测性工具，或者通过OpenTelemetry导出的trace，能给出逐请求的历史。提示词和输出只在数据协议允许的地方存，不需要的部分脱敏。

分阶段放量

• 影子模式。AI跑真实流量但只提建议，人照旧操作，把它的建议和人的做法对比。
• 用功能开关放给小部分人。真实用户、真实反馈、随时回滚。
• 受监督的自主。评测集显示它稳定处理的那类case交给AI，其余转人工。
• 扩大范围，同时让评测套件在每次改提示词或换模型时都跑一遍，生产事故继续回流进评测集。

该停的时候停

有时候评测集会告诉你，这个想法在真实数据上不够好，再怎么调提示词也补不上差距。这是概念验证的成功结局，不是失败——它花掉的是几周，而不是一次上线。诚实的选项是：缩小范围、修底层数据、永久保留人在环里，或者砍掉这个功能。

至于评测集该多大：覆盖真实输入的多样性、包括那些别扭的case就够了。很多功能从50到200个样本起步，随着生产失败案例的加入而增长。一个诚实的小集合，胜过一个由简单编造样本堆成的大集合。