豆包误判导致用户中毒，这事到底该怪谁？

人类又一次，把AI的话当真了。

这两年，“被AI坑”已经不新鲜了。有人用 ChatGPT 写法律文件，结果判例是假的，比如“Varghese诉中国南方航空” 。有人用DeepSeek做健康咨询、结果得到了“80%是肺癌”的结论，吓得不轻。

但这次，情况似乎更严重了。

有人在小区发现一种蘑菇，拍了照片，问豆包：这能不能吃？豆包说，这个东西“可能是鸡腿菇”。可以吃。可豆包也补充，“它容易和大青褶伞混淆，误食会引发胃肠炎症状”。所以，如果是从外边采来的，不要吃。

你看，豆包不是没有提醒。它没有斩钉截铁地说：放心吃。它说了“可能”，也说了“外边采来的建议不要吃”。

可用户还是吃了。然后，上吐下泻。

于是，很快有人评论：

这能怪谁？人家明明提醒你了。野蘑菇不能乱吃，这不是常识吗？你自己不知道边界，把AI当专家，中毒不是活该吗？

（图片来自微博）

说用户本人没有责任，当然不对。野蘑菇不能乱吃，AI回答不能当食品安全依据，豆包也确实加了提醒。

可用户有责任，不等于AI大模型没有责任。当答案可能影响人的安危时，如果AI并不确定，还应不应该回答？

这个问题，在机器学习领域，其实早就被讨论过了。

有个说法，叫：拒绝选项（Reject Option）。

1970年前后，C. K. Chow就在论文中提出了“拒绝选项”，意思是分类器遇到把握不足的样本时，应当拒绝判断，将处理权交给人或其他系统。

为什么？因为有些问题，答错的代价太大了。

比如问AI，穿啥颜色的衣服？它答错了，最多就是你心情差点。可你问AI，这个蘑菇能不能吃？它答错了，你就可能中毒，可能去医院抢救。

这时候，不回答就是更安全的输出。

2017年，计算机科学家Geifman提出：机器学习里一种最基础的“自知之明”，就是知道自己不知道。比如自动驾驶。如果路况实在复杂，理想状态不是硬开，而是把控制权交给人。

可是，既然不确定时拒答更安全，为什么大模型还总想回答？

这就和它的商业目标，有关了。

今天，能稳定盈利的大模型公司并不多。可是怎么变现？怎么收费？还没有一个公认的答案。所以才有这么一个共识：我们先把用户规模养起来。

怎么养？先让自己，变得“有用”。

有用最直接的表现，就是你问什么，它都能接住。不仅接住，还要接得顺、接得让你愿意继续问。

你让它写段文案，它写。你让它做一个表格，它做。你问它一个概念，它解释。你问它怎么创业、怎么投资、怎么追女生、怎么教育孩子，它都能说上几句。耐心，热情，次次有回应。

所以，出于商业目的，AI大模型，会天然走向：尽量回答，努力讨好。

因为，如果你问蘑菇，它不能答。你问投资，它不能答。你问创业，你也一堆风险提示，那你很容易就换个愿意回答的AI。

可问题是，它越想回答，越容易产生幻觉。

幻觉，就是一本正经地胡说八道。你问它论文出处，它可能会给你作者名、年份、期刊，但你真去查，会发现根本不存在。

大模型的输出机制，是通过概率，猜下一个词。它会根据自己学过的内容、检索到的信息，判断接下来最应该出现什么词。这是统计意义的智能，而非人类意义的理解。这种机制，必然带来幻觉。

这件事，放在普通问题里，没什么。但在高风险问题上，就很要命。你问100次作者错10次，没关系。你问一次毒蘑菇，它错一次就出大事。

那，大模型公司知不知道这事？当然知道。但他们又很难冒着失去用户的风险，拒绝回答。所以只好：做免责声明。

最常见的办法，就是在回答后面加提醒：

大模型可能会犯错，请你自行判断。以上内容仅供参考，不构成专业建议。涉及医疗、法律、投资、食品安全等问题，请咨询专业人士。

尽量回答，努力讨好，常常幻觉，总是免责。

这就是今天多数大模型的表现。因为它想让你觉得它什么都能答，但又无法保证都对，所以只能再加一句：我不一定对，请自己判断。

可是，提醒存在，不等于有效。免责声明写了，不等于用户理解了。

为什么？首先，“免责声明”的边际效用，会越来越弱。

你第一次看到“大模型可能会犯错，请自行判断”，可能会想一想。可到了第一百次，一千次，你可能就略过了。就像安装软件时的“用户协议”，进网页时看到“风险声明”。它们都在，但你已经不读了。

一开始，风险提示是提醒用户的。后来，它越来越像保护平台的。

其次，机器给出的答案，人天然更容易相信。

当你听到导航说往左，你就往左。哪怕你隐约觉得不对。系统说这个客户风险低，你就放松警惕。系统都算过了，应该没事吧。AI说“这可能是鸡腿菇”，你也可能会想：它都看过那么多资料了，应该比我懂吧。

在心理学和人机交互里，这种倾向，叫做：自动化偏误。

意思是，人在与自动化系统（如AI、程序）协作时，很容易就过度依赖其输出，从而放弃独立思考，验证信息。

所以，用户看完一段AI回答，最容易记住的，往往不是最后那句“请自己判断”，而是前面的具体回答。

回到这次“蘑菇中毒事件”。

豆包做了很多事。它加了警告、点了具体毒蘑菇的名字、提示了胃肠炎症状。但如果在这些免责声明之前，它首先给出了“这可能是鸡腿菇”的判断，那无论免责声明写得多么严厉，都可能让用户放松警惕。

那怎么办？瞎说一个不负责任的建议：

再遇到类似的问题，或许可以把回答顺序倒一下。

先说“这个问题涉及食品安全，AI回答可能犯错，请勿据此食用”。再说“从图像特征看，它有一定可能是鸡腿菇，但也无法排除剧毒的大青褶伞”。

先给出的信息，更容易成为用户脑子里的锚。所以，先说“像鸡腿菇”还是先说“我说的可能不对”，可能截然不同。

我们正在进入一个，AI深度参与人类判断的时代。

过去很多技术革命，改变的是工具。车跑得更快了，机器算得更准了。但它们只是把能力交给你，最后怎么判断，还是你来。

但AI，不只是给你信息，它还会直接给你结论。该不该买股票？它给你分析。蘑菇能不能吃？它也会给你一个判断。

而一旦进入判断链条，它就不能只追求有问必答。

或许，高风险场景里，一个成熟AI最重要的能力，不是回答得越来越像专家。而是在没有把握的时候，敢于先说：

对不起，这个我不知道。

参考资料：

2、陈焕|GPT两周年-盘点那些使用AI生成内容被“公开处刑”的法律人

观点/ 刘润主笔/ 景九编辑/ 歌平版面/ 黄静

这是刘润公众号第2968篇原创文章。未经授权，禁止任何机构或个人抓取本文内容，用于训练AI大模型等用途