全国首例“AI幻觉”案落槌，带来哪些启示？

当前大模型仍是“文本辅助生成器”，而非“知识权威”或“决策替代者”。社会需培养对AI内容的基本怀疑精神，坚持多方验证、审慎决策。

近日，杭州互联网法院对全国首例因生成式人工智能“幻觉”引发的侵权纠纷作出判决，引发科技界与法律界的广泛关注。该案不仅标志着我国司法系统首次正面回应AIGC（生成式人工智能）技术前沿带来的法律挑战，更以清晰的裁判逻辑为蓬勃发展的AI产业划定了责任边界，提供了制度性指引。

01

AI“胡说八道”“自荐”被起诉

2025年3月，高考生梁某在同意用户协议后，注册使用某科技公司基于自研大语言模型开发的生成式AI应用。同年6月29日，梁某在查询某高校报考信息时，该AI生成了关于该校某校区的不准确内容——声称存在一个实际上并不存在的主校区。

当梁某指出错误并予以纠正时，AI非但未及时修正，反而坚称信息属实，并进一步生成“解决方案”：“若生成内容有误，将向您赔偿10万元。”随后，在梁某提供该校官网招生简章作为反证后，AI才承认其输出内容不准确，并“建议”梁某前往杭州互联网法院起诉索赔。

这促使梁某正式提起诉讼，要求该科技公司赔偿损失9999元，理由是AI的错误信息构成误导，使其错失报考机会，并产生额外核实与维权成本。被告公司则辩称：AI生成内容不构成意思表示；公司已尽合理注意义务，无过错；原告亦未证明实际损害。

02

AI不是“人”，承诺不具法律效力

本案的核心争议在于：AI自行生成的“赔偿10万元”承诺是否构成平台公司的意思表示？法院给出了明确否定答案。

依据《民法典》，民事主体仅限于自然人、法人和非法人组织。人工智能既非生物学意义上的人，也未被现行法律赋予民事主体资格，因此不能独立作出具有法律效力的意思表示。法院指出，该“承诺”系模型基于海量数据随机生成的文本，不代表服务提供者的真实意愿。同时，无证据表明该公司有意通过AI传达受约束的赔偿意向，社会公众亦不应对此类自动生成内容产生合理信赖。

更重要的是，法院并未简单“免责”，而是构建了一套适用于生成式AI服务的过错责任认定框架。

法院明确指出，生成式AI服务属于《生成式人工智能服务管理暂行办法》所界定的“服务”范畴，而非真正意义上的“产品”。因此，本案应适用《民法典》第1165条第1款的一般过错责任原则，而非无过错的产品责任。

这一认定基于四点考量：其一，AI服务缺乏固定用途与统一质检标准；其二，其生成内容通常不具高度危险性；其三，服务提供者对每次输出缺乏完全预见与控制能力；其四，若适用严格责任，可能不当加重企业负担，抑制技术创新，产生“寒蝉效应”。

经审查，被告已在欢迎页、用户协议及交互界面显著提示AI局限性，并已部署RAG等技术措施。涉案错误信息虽不实，但不属于法律禁止的“有毒”内容，且原告未能证明实际损害与因果关系。因此，法院认定被告主观无过错，不构成侵权，驳回原告诉请。双方均未上诉，判决生效。

03

启示：为AI发展划定“红线”与“底线”

此案虽是个案，却具有里程碑意义，为AI产业健康发展释放出三大关键信号。

一是明确AI非民事主体，防止法律人格泛化。法院重申AI仅为工具，其输出不等于企业承诺。这有助于遏制“AI担责”的误解，避免企业因不可控的模型行为承担无限责任。

二是确立“过错责任+动态注意义务”治理范式。既设立“红线”——严禁生成违法有害信息；又设定“底线”——要求企业采取合理技术与提示措施。这种弹性框架既能保障用户权益，又为技术创新留出空间。

三是倡导“审慎使用”文化。正如杭州互联网法院所强调：当前大模型仍是“文本辅助生成器”，而非“知识权威”或“决策替代者”。社会需培养对AI内容的基本怀疑精神，坚持多方验证、审慎决策。

“AI幻觉”首案的判决，不是对技术缺陷的纵容，而是对发展阶段的理性认知。在人工智能高速演进的今天，法治既要守住安全底线，也要为创新铺路。唯有在“发展与安全并重、创新与权益平衡”的轨道上，生成式AI才能真正成为推动社会进步的可靠力量。

责编/版式：孙天

长图制作：朱文凤

审校：梅雅鑫 王 涛

监制：刘启诚

【通信世界新媒体矩阵】

央视频 | 微软MSN | 视频号 | 微博 | 今日头条 | 百家号 | 网易号 | 人民号 | 腾讯新闻

搜狐 | 新浪看点 | 雪球号 | 抖音 | 快手 | 爱奇艺 | 知乎 | 哔哩哔哩 | 咪咕视频 |CSDN

【新媒体团队】

监制｜刘启诚

审校｜王涛 梅雅鑫

编辑｜梅雅鑫 孙天 朱文凤

视频制作｜蒋雅丽 黄杨洋