国内首例AI“幻觉”案提醒了什么

AI“幻觉”（看似合理实则错误的信息）误导，谁来背“锅”？近日，杭州互联网法院审结全国首例因生成式人工智能模型“幻觉”引发的侵权纠纷案，驳回原告诉求，为AI服务责任划分厘定法治边界。

去年，梁某询问某高校报考信息，AI生成不准确内容。梁某纠正后，AI仍坚持；并提出，若有误，将提供10万元赔偿。之后，梁某提供高校官网招生信息，AI承认错误，并建议梁某索赔。梁某遂起诉。被告辩称，对话内容由AI模型生成；公司已充分履行注意义务，无过错；原告未产生实际损失，不构成侵权。

判决背后是法律对AI服务属性的明确界定。AI不是民事主体，“赔偿承诺”不构成意思表示。依据我国产品质量法、《生成式人工智能服务管理暂行办法》等，案涉生成式人工智能属于服务、而非产品，适用民法典第1165条一般过错责任原则。对生成式人工智能服务侵权采取过错责任原则能够全面评价服务提供者的行为，有利于建构兼具弹性、适应性与演化能力的回应型规则治理体系：既设立红线、底线（不生成违法信息、显著提示、方式性义务），又激励技术创新，防止风险发生。这就是为什么我们总能在AI应用最末看见一句“本回答由AI生成，内容仅供参考，请仔细甄别”。

厘清法理之后，更需警惕AI“幻觉”对现实的渗透及其带来的认知风险。第56次《中国互联网络发展状况统计报告》显示，截至2025年3月，共有346款生成式人工智能服务完成备案。截至6月，80.9%用户利用生成式人工智能产品回答问题。有学者直言，当社交媒体90%的内容由AI生成，且公众缺乏甄别能力时，就会陷入美国新闻评论家李普曼所说的“拟态环境”困境——人们认知的世界不再是真实世界，而是AI建构的虚假镜像。

2025年7月，中国青年报中青校媒针对“AI幻觉”话题的问卷调查显示，97%受访大学生遇到过AI“幻觉”，74.26%希望提升研发技术、优化算法模型、严格数据治理。

AI“幻觉”本质是技术局限。模型在庞大语料库上训练，并未真正习得“事实”。因此，平台需落实《生成式人工智能服务管理暂行办法》要求，通过检索增强生成（RAG）技术优化模型，完善投诉举报机制。监管需加快细化AIGC的权利归属、责任划分规则，尤其针对医疗、金融、教育等高危应用场景，制定专项规范。

公众应多方验证、审慎核查。人是万物的尺度，技术服务于人，而非人屈从于技术。人之所以为人，是因为人比算法更能真实感知世界，而非一本正经胡说八道。

技术无界，法治有边。AI是人的“工具延伸”，人才是价值原点。筑牢法治之基，技术向善向上，始终坚守自我主体性和理性自觉，方能保障人类认知不失真、公共舆论不失衡、文明发展不偏航。

原标题：《微言 | 国内首例AI“幻觉”案提醒了什么》

栏目主编：范兵、张裕 题图来源：视觉中国

来源：作者：文汇报 付鑫鑫