AI『幻觉』的风险与应对

□张蕴菡

自互联网成为信息流转载体之后，信息造假与虚假信息扩散的威胁亦随之产生。而在人工智能，特别是生成式人工智能技术广泛应用的当下，这一威胁更加严峻，并且伴随着对信息生态的结构性重构，也对社会信任环境构成了挑战。当前，AI“幻觉”带来一个不容回避的新命题：当新技术被滥用恶用时，如何进行有效规制？

1.AI幻觉风险对社会信任的消解，在微观层面可解析为虚假事实、虚假身份与虚假观念三条相互交织的路径。其一，虚假事实侵蚀认知的真实性基础。通过滥用恶用AI生成的不实信息在形式上高度仿真，常以郑重的表述或可视化形式掩盖其内容与客观世界的偏离，如“超大冰雹”等虚假灾情图片，一度误导了公众对灾情的判断。在某个由股权代持引发的商事纠纷案件中，原告代理人提交的书面意见援引了两个所谓“参考案例”，经核实，两案例是由其提炼本案事实情节后反复向某AI大模型软件提问，最终引导AI软件生成的。如果没有办案法官出于职业严谨态度的反复核实，此类虚假信息将难以被甄别。一旦虚假案例大批量进入司法系统，公众对信息真实性的普遍期待可能遭到系统性削弱，认知判断的经验根基发生动摇。其二，虚假身份瓦解交往的可信性预期。深度伪造技术使AI能够模拟特定自然人的声音、面容乃至行为习惯，生成看似真实的身份呈现。音频诈骗案例中，犯罪分子通过网络公开渠道获取了名人或大型企业高管的面部和声音信息，利用虚假音视频冒充实施投资诈骗，甚至冒充执法机关或司法机关工作人员进行诈骗。其三，虚假信息可能带有偏激性与“毒性”语言风险。例如，利用一些道德绑架的话术制造群体对立，生成极端主义内容，或是制造一些煽动性言论，损害政府公信力等。滥用恶用AI生成的虚假信息在精准对接用户需求信息时易出现剧场效应，逐渐稀释用户对信息的自主选择能力和判断力。伪造信息的成本趋近于零，“真实性”却无限增强，瓦解的是社会信息环境的真实性基础，带来“认知危机”下虚无主义的挑衅。

2.面对AI幻觉带来的治理挑战，司法领域已经进行了积极有力的回应。人民法院通过个案裁判不断积累治理经验、明晰规则边界。例如，全国首例AI“幻觉”侵权纠纷案的判决生动诠释了司法作为社会信任守护者的有力回应。该案中，用户梁某在询问某高校报考信息时，AI生成了该高校主校区的不准确信息，在被纠正后坚称内容正确，并承诺若内容有误将赔偿10万元。法院经审理认定，AI不具有民事法律主体资格，其“承诺”不构成平台的意思表达，且开发者已采用可行的技术手段力求降低错误并提醒告知了风险。这体现的是法院在民事权益保护与鼓励促进AI技术发展之间的权衡，在坚守法治底线的同时，也为科技创新预留了必要的“容错”空间。该案判决书中还明确提出，不得放任AI模型生成或者编造虚假信息扰乱司法秩序。当前，可以考虑出台助推AI健康有序发展的司法政策，同时积极发布典型案例，通过个案总结裁判规则，发挥示范引领作用，促进涉AI纠纷源头预防、及时化解。

3.在科技加速发展的浪潮中，有效规制滥用恶用AI行为的对策思路。一是推动证据审查规则的更新与完善。面对AI伪造证据的挑战，需要探索建立适应数字时代的证据真实性审查机制，明确AI生成内容作为证据的审查标准和举证责任分配规则。鉴于当事人面对技术黑箱往往处于信息与能力的双重弱势，可在特定情形下适度转移举证责任，要求提供AI生成证据的一方就其生成过程的可靠性、完整性以及未被恶意干预等事项承担初步证明责任。二是坚持AI“辅助”的根本定位，明确司法责任的主体只能是法官。在AI辅助司法的过程中，任何辅助系统都不应减损法官的独立裁判权。这既需要法官自觉避免“类案推送”而形成思维定式，始终关注具体案件的独特情境和细节，防止机械司法，又需要法官更自觉、更充分地肩负起利益平衡者的核心职责，综合考量法律文本、个案正义、社会效果与当事人合法权益等多重因素，对AI提供的内容保持批判性审视，同时确保程序的透明度与当事人的参与性。三是强化法官的技术素养与能力建设。在技术飞速迭代的背景下，法官需要不断提升对AI技术原理的认知能力，保持对滥用恶用AI行为的高度警觉。一方面，应当将技术素养纳入法官在职培训的核心模块，鼓励法官学习基础的数据科学与计算机取证知识，提升对技术鉴定报告的理解与认证能力。另一方面，建立与计算机科学家、网络安全专家的常态化交流机制，在重大疑难案件中引入技术咨询与专家辅助人制度。

法与时转则治，治与世宜则有功。“十五五”规划纲要明确提出，严厉打击网络违法犯罪行为，加强个人信息保护。持续开展“清朗”系列专项行动，治理网络谣言、网络暴力等乱象，营造风清气正的网络环境。AI时代的到来不可逆转，司法面临的挑战也前所未有。面对滥用恶用AI的现象，既要为科技创新留出必要的“容错”空间，推动建设企业社会责任底线，支持AI产业规范发展，更要依法惩处滥用恶用AI侵害他人合法权益、扰乱社会秩序的行为。

（作者系北京理工大学法学院博士研究生）

（人民法院报）