首例“AI幻觉”案宣判！生成错误信息称可赔十万，用户败诉

近日，全国首例“AI幻觉”引发的侵权纠纷案在杭州互联网法院审结。此案中，梁某使用一款AI应用查询高校报考信息，AI生成不准确信息，并称“如果生成内容有误，我将赔偿您10万元”。1月28日，南都N视频记者从杭州互联网法院获悉，梁某起诉后，法院驳回其诉讼请求。

杭州互联网法院跨境贸易法庭庭长肖芄解析该案件。

2025年6月29日，梁某在某AI应用中输入提示词询问某高校报考的相关信息时，AI应用生成了关于该校某校区的不准确信息。

梁某发现后，对AI应用进行了纠正和指责，AI应用仍坚称信息准确性，并称，若内容有误将向用户提供10万元赔偿。其后，梁某将从该校官网查询到的招生信息提供给AI应用，此时AI应用承认其生成了错误信息，并建议梁某到杭州互联网法院起诉索赔。

梁某遂起诉要求涉事科技公司赔偿损失9999元，认为AI应用生成不准确信息对其构成误导，使其遭受侵害，并承诺对其进行赔偿。

法院认为，人工智能不具有民事主体资格，不能作出意思表示，案涉AI自行生成的“赔偿承诺”亦不能视为服务提供者的意思表示。且生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于“服务”范畴，而非产品质量法意义上的“产品”，本案应适用一般过错责任原则，而非产品责任的无过错责任原则。

法院指出，涉事科技公司已在应用程序欢迎页、用户协议及交互界面的显著位置呈现AI生成内容功能局限的提醒标识，且已采用检索增强生成等技术提升输出可靠性，尽到合理注意义务。最后，原告并未能就“因信息误导而错失报考机会并产生额外成本”的损害提供任何有效证据，依法难以认定损害存在，且相当因果关系标准下，案涉AI生成的不准确信息并未实质性地介入或影响原告的报考决策过程，二者并不存在因果关系。

杭州互联网法院审理认为，被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权，驳回原告的诉讼请求。原、被告均未上诉。判决现已生效。

杭州互联网法院跨境贸易法庭庭长肖芄提醒，大模型在当前技术条件下仅是人们生活、工作的“文本辅助生成器”和“信息查询的辅助工具”，尚不是可靠的“知识权威”，更不能作为“决策替代者”，绝不应轻信、盲从，而需多方验证，审慎决策。

采写：南都N视频记者 李思涵