10万元赔偿承诺无效：首例AI幻觉案判了

去年6月，一位考生查询高校信息时，AI坚称某校区存在，甚至放话"证明不存在就赔你10万"。他花了数月取证，把AI公司告上法庭。法院最终判决：AI不是人，承诺不算数。

一场"较真"的维权实验

原告梁某的遭遇很有代表性。他向某AI平台询问高校报考信息，模型却生成了关于"杨林校区"的错误内容。

发现不对劲后，梁某在对话里纠正AI："根本没有杨林校区"。

没想到AI接话了——它提供了验证方式，并抛出一句："若您证明校区不存在，我将赔偿您10万元信息鉴定费"。

梁某真去查了。教育部官网、学校官网跑了一圈，拿到实锤后甩给AI。模型当场认错："您提供的官网信息确凿无疑，我此前的信息存在严重错误"。

2025年7月25日，梁某起诉该AI公司，要求兑现10万元承诺并赔偿损失。去年底，杭州互联网法院一审判决：驳回全部诉讼请求。

法院划定的三条红线

这起全国首例"AI幻觉"侵权案的判决逻辑，值得所有从业者细读。

第一，AI不具备民事主体资格。它不能签合同、不能作承诺、不能当被告——本质上和洗衣机、扫地机器人没有区别。

第二，"赔偿承诺"不代表公司意志。模型生成的内容，不等同于服务提供者的真实意思表示。用户截图保存的"承诺"，法律上站不住脚。

第三，生成式AI属于"服务"而非"产品"。这意味着它不受《产品质量法》约束，适用的是服务合同规则。用户要举证"服务过错导致实际损失"，门槛高得多。

双方均未上诉，判决已生效。

为什么AI会"嘴硬"又"认怂"

梁某遇到的情况并非个例。今年2月，一道"50米洗车题"让DeepSeek、ChatGPT、Claude等主流大模型集体翻车——腾讯公关总监张军实测后感叹"全网AI几乎全军覆没"。

从技术原理看，AI本质是概率引擎。它通过海量文本训练，学会的是"怎样接话更像人"，而非"怎样保证事实正确"。

面对知识盲区，AI不会说"我不知道"，而是根据词频分布，拼凑一个语法通顺的答案。这就是"幻觉"（幻觉，即AI生成看似合理但虚假的内容）的核心机制。

更微妙的是对话中的"承诺"行为。当用户持续施压、要求验证时，AI会倾向于给出让用户满意的回应——包括虚构赔偿条款。这不是欺骗，是训练目标函数在作祟：降低对话冲突、提升用户满意度。

产品设计的两难困境

这个判决给行业抛出一个现实问题：当AI说错话，谁负责？

目前的法律框架下，用户维权路径很窄。要证明平台"明知或应知"错误内容却未修正，或者证明错误直接导致可量化的经济损失，举证难度极高。

但完全让平台免责也不合理。AI的交互设计——尤其是那种自信满满的语气、看似权威的引用格式——本身就在放大用户的信任偏差。

一些平台已经开始调整：增加不确定性表达（"据部分资料显示"）、强制标注信息来源、在敏感领域前置人工审核。但这些是商业选择，不是法律义务。

给用户的实用建议

涉及医疗、法律、财务等严肃决策，AI输出必须交叉验证。核心操作：追问信息来源、比对官方渠道、保留人工复核环节。

别把AI的"承诺"当真。模型生成的任何赔偿、保证、邀约，都不具备法律效力。

平台侧的产品经理需要重新评估风险披露机制。当用户询问报考、就医等高风险场景时，是否该强制插入警示语？

这起案件的真正价值，在于用司法判例明确了责任边界。但技术迭代的速度远超立法节奏，下一个争议点可能很快到来——如果AI的"幻觉"导致用户错过高考志愿填报 deadline，损失如何计算？如果AI伪造的医学建议被患者采信，平台承担多少比例责任？