“AI幻觉”侵入法庭，多地法院探索治理机制

法治日报记者 何睿

在湖北省大悟县人民法院近日审理的一起房屋租赁合同纠纷案中，原告董某作为证据提交的水电表照片，赫然带有“AI生成”的水印；在法官的质询下，董某最终承认自己利用AI技术伪造证据，并受到了训诫。

这起看似荒唐的AI造假并非个例，多地法院亦有类似遭遇。随着生成式人工智能技术融入法律行业，其带来的“AI幻觉”陷阱，即生成看似真实、合理，实则虚假、错误的内容，也在侵入庄严的法庭。面对这一冲击，除了依靠法官的慧眼，各地法院也在探索构建长效防范治理机制。

干扰司法秩序

“AI幻觉”在法律领域已造成多层面冲击，最常见的是生成虚假或错误的案例和法条。

在北京市通州区人民法院审理的一起看似寻常的商事纠纷中，承办法官郑吉喆发现，原告代理律师提交的两个案例的案号所对应的真实案件情况，与其援引内容风马牛不相及。在法官的追问下，原告代理律师终于承认，这些所谓的案例竟是AI工具根据其检索生成的。

北京市第二中级人民法院推动落实全员、全面、全程“三全”释法说理机制，对当事人提交的证据材料、法律意见等进行严格审查。在该院2025年9月审理的一起继承纠纷案件中，当事人发来了自己通过AI搜索到的裁判依据。承办法官屠育对照后发现，竟没有一条是准确的现行法律规定。

在上海市第二中级人民法院受理的各类二审案件中，已出现当事人直接使用AI工具拟写诉状、援引虚构法条，甚至将AI生成的答复作为证据提交的情形。“例如，我庭2025年11月审结的董某与上海市某公司劳动合同纠纷一案中，当事人上诉状引用相关法律条文，经核查均不存在或与条文原意不符。”上海二中院民事审判庭法官沈永妍介绍道。

更严峻的是，“AI幻觉”还可能被用于恶意取证、伪造证据、虚构事实。

在上海市青浦区人民法院审理的一起侵害商标权纠纷中，原告四川全某餐饮文化管理有限公司（以下简称全某公司）系“全某冒”注册商标专用权人，在某搜索引擎以“全某冒菜加盟要多少钱”为关键词搜索所得结果首条即为完整包含前述关键词内容的上海世某食品股份有限公司（以下简称世某公司）自有品牌加盟推广网页链接。

全某公司遂以世某公司购买搜索引擎广告服务，并有意选用“全某冒”商标相近的搜索关键词进行网络推广，侵害其注册商标专用权同时构成不正当竞争为由诉至人民法院，要求世某公司停止侵权并赔偿损失。世某公司辩称，其虽购买了某搜索引擎网络招商广告推广服务，但未曾主动添加含“全某冒”字样的关键词，否认实施被诉侵权行为。

北京某网讯科技有限公司称世某公司购买了其经营的某搜索引擎推广服务，但经后台数据核查，世某公司未主动添加“全某冒菜加盟要多少钱”关键词。而全某公司取证前存在多达50余次频繁重复搜索含“全某冒”相关关键词却不点击搜索结果的行为，其取证过程存在异常。

青浦法院西虹桥（进口博览会）人民法庭法官赵晖晖表示，这是原告利用AI的自主学习能力，通过在搜索引擎中反复输入自身商标名称、却不实际访问显示正常的网页链接，进行一系列非正常的搜索操作，直至错误链接显示即进行取证，人为制造了“侵权”假象。根据查明情况，原告竟以此手法取得400余份“证据”，向全国各地法院提起或准备提起商标侵权诉讼。

避免过度依赖

AI为何会“胡言乱语”？北京二中院申诉审查庭庭长赵银豪指出，“AI幻觉”是AI思维模式的天然副产品，大语言模型的本质是概率预测而非逻辑推理；当遇到训练数据不足、信息模糊或用户指令引导性过强时，它为追求文本连贯与完成任务，便会倾向于自主创造内容。

“法律领域的特殊性加剧了这一风险。”在赵银豪看来，法律知识体系庞大、更新迅速，且存在大量未公开文书或内部规范，客观上容易形成“信息真空地带”；法律语言高度专业化且依赖严谨解释，AI易陷入“死抠字眼”或“忽视但书”等机械理解的境地；部分当事人或法律工作者对AI过度依赖与盲目信任，没有尽到对信息真实性的核验义务。

“有的当事人拿着由AI生成的对某一法律问题的意见，作为抗辩理由。这种对不准确信息来源的依赖，不仅削弱了法律规范的权威性，也对司法专业解答产生干扰，损害司法公信力。”在上海二中院民事审判庭审判团队负责人陈樱看来，AI所生成意见的内容、方向、针对性、专业性、准确性等，与提问者提供给AI的案情信息和提问方式有很大关联；当事人往往根据自己的理解去提问，提供的信息不全面甚至有偏向性，因此AI给出的答案往往偏向于提问方；使用AI工具，应对其生成内容进行必要的核查求证，切忌盲目照搬。

注重内容审核

工具的价值，取决于人类的智慧与责任。面对“AI幻觉”的冲击，司法机关正在积极行动。

在审查经验层面，通州法院成立人工智能司法应用案例与理论兴趣小组，总结出AI虚假案例的特征以便识别：如案号编排存在规律化痕迹、案情描述过度贴合需求场景、难以通过检索方式进行验证等。

“在行为规范层面，司法机关对于提交材料中含有疑似AI生成内容的当事人，应进行必要释明与风险告知，要求当事人在提交材料中标注人工智能辅助生成情况。”陈樱表示。

赵银豪认为，对于当事人或法律工作者提交含有AI虚构内容的诉讼材料的行为，应视情节采取训诫、罚款等惩处措施，诚实信用是诉讼参与人的基本义务，AI不能成为免责借口。

在技术优化层面，陈樱建议引导人工智能服务平台加强内容审核，对侧重于法律用途的AI模型，平台应实施更严格的内容真实性审核与用户提示义务，例如采用检索增强生成技术，将AI的生成过程与权威、实时的法律数据库更紧密挂钩，是减少产生“AI幻觉”的有效路径；在司法机关内部，可依托数字法院建设，识别虚构法条、案例及典型AI生成痕迹，并向承办法官提示风险，提升审查质效。

“我坚信，技术进步的车轮无法阻挡，人工智能会更进一步融入法律工作。但是技术的局限性不可忽视，工具无法取代人的担当。法庭之上，最终且唯一的审判者，只能是且必须是经得起追问的人。”赵银豪表示。

来源：法治日报