政务热线AI大模型落地，不能只看问答准确率

如今政务热线智能化升级，几乎都会引入大模型RAG知识库能力。不少项目选型阶段，把问答准确率作为核心考核指标。

在测试库内的标准问题上，大模型回答有理有据，准确率看起来很高。但上线接入真实群众来电之后，体验却大打折扣：群众口语化表达识别不准、不会处理多轮追问、无法判断何时转人工、出现政策幻觉、通话打断失效。

政务热线面向普通老百姓，来电口语杂、口音多、诉求交叉复杂，不是网页文字问答。单纯知识库问答准确率，仅仅是众多指标中的一项，远不能代表热线AI真实可用。本篇结合政务热线真实落地经验，拆解政务大模型落地容易忽略的关键维度。

一、文本测试准确率高，不等于电话通话可用

实验室测试，一般是整理一批标准书面问题，输入大模型，对比标准答案统计准确率。而真实电话场景存在多层损耗：

1. ASR识别误差：老百姓方言口音、口语碎句、背景噪音，语音转文字本身就存在错字漏字，传给RAG的原始文本就已经失真；

2. 口语化诉求：群众来电不会像书面提问，经常一句话夹杂多个诉求，语句断断续续；

3. 通话时延约束：网页问答可以等待2‑3秒返回结果，电话通话时延过高，群众会明显感觉到卡顿。

现实痛点：文档测试准确率95%，放到真实电话通话，有效回答率可能直接掉到60%以下。

选型不能只看书面测试集，必须接入真实语音链路做通话全流程验证。

二、多轮对话上下文理解能力

群众咨询政策，往往不是一次性问完，会连续追问、反问、补充信息。

很多RAG方案，只把用户当前一句话丢给知识库检索，丢失历史会话上下文。

举例：

群众：灵活就业社保怎么缴费？

AI回答完缴费渠道。

群众：那断缴有什么影响？

如果不带上文上下文，大模型不知道对话围绕灵活就业社保，很容易答成职工社保或者居民社保，回答跑偏。

重点考察：

1. CTI中间件会话层是否完整保存每一通来电全部对话上下文，持续传递给RAG；

2. 支持上下文窗口动态裁剪，避免对话轮次变多之后，请求报文过大，推理速度变慢；

3. 用户话题跳转，能够识别话题切换，更新检索方向。

三、边界判断：什么时候该转人工，比答对更重要

政务热线AI，不是追求AI解决全部问题。知道自己回答不了，及时转交人工坐席，是核心能力。

很多项目上线之后，AI在自己不熟悉的业务上强行输出，编造政策，群众反复跟AI沟通得不到解决，引发群众投诉。

需要处理的边界场景：

1. 诉求不在知识库政策范围内，主动提示转接人工；

2. 群众情绪激动、重复投诉，识别情绪，主动转人工；

3. 业务需要核验身份、业务办理，超出咨询范畴，转人工受理；

4. 多次问答仍然无法解答用户问题，自动触发转坐席。

注意：转人工逻辑不能只靠大模型自己判断，CTI中间件可以配置业务规则，双重兜底，避免大模型幻觉拒不转人工。

四、政策幻觉风险，政务场景不可忽视

政务咨询，回答内容必须严谨，不能编造政策条文。一旦大模型输出虚假政策，会直接造成政务服务事故。

常见幻觉场景：

1. 知识库没有相关文件，大模型凭借训练知识编造政策；

2. 多条政策文件内容冲突，大模型混淆新旧政策；

3. 检索出来多条文档，大模型随意改写原文表述，产生歧义。

落地规避手段：

1. RAG检索优先引用原文片段，大模型基于检索片段生成回答，禁止脱离检索素材自由发挥；

2. 回答输出附带来源文档名称，方便坐席复核；

3. 知识库定期清理过期政策，旧版本政策及时下线；

4. 增加兜底策略，检索不到有效资料，直接回复该问题建议咨询人工坐席，不要强行生成答案。

五、通话交互体验：流式处理与智能打断

文字聊天框体验好不代表电话体验好，电话场景交互体验由CTI媒体能力决定，不完全由大模型决定。

1. 流式输出：不能等大模型全部生成完毕才转语音播报，要边生成边播放，降低用户等待时延；

2. 真正智能打断：用户说话随时终止AI播报，而不是等AI说完一整句才允许打断。很多POC演示效果很好，真实网络抖动下变成伪打断；

3. 静音处理：用户长时间不说话，AI主动反问引导，或者超时转人工；

4. 杂音过滤：背景噪音误识别为人声，造成AI被莫名打断。

关键点：智能打断依赖MRCP媒体服务实时人声检测，只更换大模型解决不了交互问题，底层CTI中间件媒体能力是基础。

六、知识库运营维护能力，决定长期效果

很多项目上线初期效果尚可，运行半年效果持续下滑，根源在于知识库运营成本太高。

1. 政策文件更新频繁，需要业务人员可以自主上传PDF、Word，自动切片入库，不能每次更新政策都要技术人员介入；

2. 支持文档版本管理，旧政策失效可以快速下线，避免新旧政策混杂；

3. 可以统计高频咨询问题，哪些问题AI回答效果差，方便业务人员迭代优化知识库；

4. 支持问答样例调优，针对群众高频口语化提问做优化。

如果知识库只能由技术人员维护，后期业务部门用不起来，大模型模块最后就沦为摆设。

七、两种业务模式，按需选型，不要盲目追求全AI接待

模式一：AI全自助接待

来电直接由AI接待，适合政策查询、信息咨询类标准化诉求。

适合：政策科普、办事流程查询。

风险：复杂诉求很容易答偏，必须做好转人工兜底。

模式二：坐席辅助模式（人机协同）

电话直接接通人工坐席，大模型只做幕后助手：通话实时转写，检索知识库，给坐席推送参考话术，不直接和群众对话。

优势：规避大模型直接对外输出带来的政策幻觉风险，风险更低，很多政务项目优先采用该模式。

提醒：不要一味追求高AI接起率，群众满意度才是核心指标，强行提升AI占比会带来投诉风险。

八、项目验收，建议增加这些非准确率指标

除传统问答准确率，政务热线AI项目验收，建议增加下面指标：

1. AI有效应答率：真实来电场景下，群众问题得到合规解答的占比；

2. 合理转人工率：识别超出知识库范围，主动转人工的比例，拒绝硬扛诉求；

3. 幻觉发生率：输出内容与知识库原文冲突的错误案例统计；

4. 全链路平均时延：从用户说完话，到听到AI语音回复的整体耗时；

5. 智能打断成功率；

6. 知识库业务侧可维护性，业务人员更新文档的操作门槛。

政务热线AI大模型，是一套完整链路，不只是大模型本身。ASR语音识别、CTI中间件会话与媒体调度、RAG检索策略、知识库运营、转人工兜底，每一环都会影响最终效果。

只看书面问答准确率，很容易出现“实验室效果惊艳，上线体验拉胯”。

iSoftCall呼叫中心中间件，通过流式MRCP完成语音媒体调度，可对接各类国产RAG大模型，支持AI自助接待、坐席辅助两种模式，为政务热线AI落地提供通信底座支撑。