网易首页 > 网易号 > 正文 申请入驻

为什么AI智能体不该给自己的作业打分?

0
分享至

一个审查自己判决的法官,永远会判无罪。这句话几乎就是那类让80%智能体项目翻车的错误的全部定义:你搭起一套系统,模型先生成一份输出,然后同一个模型、或者它的孪生兄弟,被交派一个任务——"检查这个对不对"。模型照做了,而且永远向着自己。


结果是可以预见的。模型会放行自己编造出来的幻觉,因为在它自己的逻辑里,那些东西听起来很有说服力。同一张网络、同一组权重、同一批盲区。你等于在问作者:你这段文字写得好不好?你指望听到什么答案?

这是经典的"LLM当裁判"被指错了方向:法官和被告是同一个模型。没有人喊叫,没有红色警报响起。报告一片绿色,而最糟糕的那类失败,恰恰是你根本看不见的那种。

举个具体的例子。一个智能体从发票里抽取数据、写进数据库。它把一个金额弄错了,但错得很一致:同一个错误数字既进了"应付金额"字段,也进了摘要。你问模型这次抽取对不对,它看到内部自洽,回答"对"——从它站的位置看,一切严丝合缝。错误藏在裁判从未看到的输入里。

仪表盘显示"状态:正常",而垃圾数据正在落进你的数据库。系统在跑,只是从内部悄悄毒化产品。

再跑一遍,救不了

本能反应是让模型再过一遍输出,或者立一个孪生模型在旁边,让它检查同事的活。问题是孪生模型继承了同一批盲区。如果原始模型编造了一个并不存在的API端点,用同样训练数据复制出来的模型会判定它合理,然后盖章放行。你付出了额外的成本和延迟,信心只在纸面上上涨。那不是验证,是回声。

两层验证

在智能体工程里,我不问模型有没有出错。我把验证拆成互不信任的两层:

  • 硬层:用代码验证——schema、测试、事实是否对得上。确定性的、二元的。凡是能用代码检查的,绝不交给大模型。
  • 软层:另立一个模型,用不同的提示词。它不参与生成,只做审计。

硬层很无聊,而这正是它有效的原因。一个JSON schema要么通过要么不通过;一个测试要么过要么挂;一个数字要么匹配要么不匹配。这里没有"听起来很有说服力"的容身之处。多数团队把本该由普通校验器在微秒内解决的问题推给大模型,然后在生产环境里用幻觉来付账。你检查代码能不能编译、URL能不能响应、ID在不在数据库里——这些都不去问模型,因为模型靠猜,编译器知道答案。

软层承接的是代码查不了的东西:回答是否切题、语气是否合适、推理是否站得住。这里确实需要一个模型,但必须是另一个模型——不同的提示词、不同的角色、对输出零参与。它是审计员,不是共同作者。同一个模型既写又评,你得到的是表演,不是控制。

顺序同样重要。硬层先把明确错误的东西筛掉,只有活下来的才送到软层审计员面前。这样昂贵的模型不必烧token去抓JSON里的拼写错误,你拿到的是两道独立的闸门,而不是一道替自己说话的闸门。

今天就能做的最简单测试

走进你的流水线,找到模型给自己的输出打分的那一处。然后问一个问题:这里有什么能用代码检查?今天就把它挪到硬层。剩下的交给一个从未碰过生成过程的独立审计员。做到这一步,"状态:正常"就重新有了意义。规则很简单,没有例外:没有人可以给自己的判决签字。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
西媒:袭击卡马文加的巴萨球迷身份确认,俱乐部将予以驱逐

西媒:袭击卡马文加的巴萨球迷身份确认,俱乐部将予以驱逐

懂球帝
2026-10-28 18:01:37
为建数据中心在芬兰非法砍树40万棵,谷歌:停工致歉,将保护水质并在部分土地重新种树

为建数据中心在芬兰非法砍树40万棵,谷歌:停工致歉,将保护水质并在部分土地重新种树

澎湃新闻
2026-10-27 16:26:27
每年从中国赚2千多亿,巴西总统候选人却在电视辩论上拍桌子大骂

每年从中国赚2千多亿,巴西总统候选人却在电视辩论上拍桌子大骂

果妈聊娱乐
2026-08-30 15:34:20
农商行“解散”不是倒闭,手里有存款的中老年人一定要看

农商行“解散”不是倒闭,手里有存款的中老年人一定要看

坠入二次元的海洋
2026-10-28 18:12:21
总有人抱有幻想,我再说一遍,就算失业在家玩,也不要开网约车!

总有人抱有幻想,我再说一遍,就算失业在家玩,也不要开网约车!

乌克兰小静
2026-10-28 07:31:42
中国证券监督管理委员会原党委委员、中央纪委国家监委驻中国证券监督管理委员会纪检监察组原组长王会民受贿案一审宣判

中国证券监督管理委员会原党委委员、中央纪委国家监委驻中国证券监督管理委员会纪检监察组原组长王会民受贿案一审宣判

新华社
2026-10-27 17:01:02
四面环海的永暑岛,地下竟藏着一座“淡水银行”,谁存的?

四面环海的永暑岛,地下竟藏着一座“淡水银行”,谁存的?

纪史行者
2026-10-27 03:30:03
歼20隐身突袭美军航母编队,遭4架F35、2架F22拦截【空战模拟】

歼20隐身突袭美军航母编队,遭4架F35、2架F22拦截【空战模拟】

军武咖
2026-10-27 12:31:37
“受美伊冲突影响、燃油成本过高”,美国一邮轮暂停环球旅行,200余名乘客被迫下船

“受美伊冲突影响、燃油成本过高”,美国一邮轮暂停环球旅行,200余名乘客被迫下船

环球网资讯
2026-10-28 21:29:05
“鱼姐不养鱼”被指喝酒作假:用白开水或东方树叶代替酒,把酒倒进垃圾桶……相关账号可能面临断播、封禁处罚

“鱼姐不养鱼”被指喝酒作假:用白开水或东方树叶代替酒,把酒倒进垃圾桶……相关账号可能面临断播、封禁处罚

南方都市报
2026-10-27 00:09:23
上海新王出世,健康便是底气,京浙恐难阻挡

上海新王出世,健康便是底气,京浙恐难阻挡

艳姐的搞笑视频
2026-10-28 15:52:02
台湾省全岛2300万人,97%的人挤在西部,为啥没人愿意去东部?

台湾省全岛2300万人,97%的人挤在西部,为啥没人愿意去东部?

云霄纪史观
2026-09-29 16:52:56
特朗普再提台海问题,国台办回应亮了,不批特朗普专轰民进党

特朗普再提台海问题,国台办回应亮了,不批特朗普专轰民进党

邱震海
2026-10-28 18:20:12
柿子再次被关注!研究发现:糖尿病吃1次柿子,等于给血糖添堵?

柿子再次被关注!研究发现:糖尿病吃1次柿子,等于给血糖添堵?

汪医生健康百科
2026-10-19 22:25:03
广网首日惊天大冷门!头号种子惨遭横扫,中国黑马夺冠机会来了

广网首日惊天大冷门!头号种子惨遭横扫,中国黑马夺冠机会来了

梦忆之浅
2026-10-28 19:00:20
广东省人大常委会原委员卓毅逝世,享年88岁

广东省人大常委会原委员卓毅逝世,享年88岁

澎湃新闻
2026-10-28 18:58:26
为避免在韩国市场引发争议,苹果悄悄移除当地官网iPad mini(A20 Pro)海报中的手部

为避免在韩国市场引发争议,苹果悄悄移除当地官网iPad mini(A20 Pro)海报中的手部

IT之家
2026-10-27 18:27:17
营收8990亿!碾压华为比亚迪,江苏首富夫妻太低调

营收8990亿!碾压华为比亚迪,江苏首富夫妻太低调

王二哥老搞笑
2026-10-27 01:57:32
球队老板的噩梦!刚签1.1亿就开摆,A史密斯:体育史上糟糕的超巨

球队老板的噩梦!刚签1.1亿就开摆,A史密斯:体育史上糟糕的超巨

你的篮球频道
2026-10-28 07:25:34
梅根重返澳洲捞金计划受挫:政界两党集体发难硬核表态,纳税人一分钱都不给

梅根重返澳洲捞金计划受挫:政界两党集体发难硬核表态,纳税人一分钱都不给

东方不败然多多
2026-10-28 19:09:51
2026-10-28 22:07:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
199文章数 101关注度
往期回顾 全部

科技要闻

宇树科技前三季净利暴增270%

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

上市即交付 腾势Z9S诠释豪华体验与用心交付

态度原创

数码
游戏
教育
家居
公开课

数码要闻

iQOO Neo12发布:国补后3149元起售 搭载2K 185Hz超冠屏

《生化危机》10年内或迎大结局!这么赚钱真不做了?

教育要闻

我们要尊重别人的观点,除非他们的观点是错的

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版