一个国家的AI监管框架,竟然死于AI生成的假引用——这是讽刺,还是警告?
从内阁通过到紧急撤回:72小时的崩塌
![]()
事情发生在上周末。南非通信与数字技术部确认,一份已通过内阁审议、进入公众意见征集阶段的国家AI政策草案,被紧急撤回。
原因是:参考文献里混进了"各种虚构来源"。
这份草案原本被包装成前瞻性框架,满纸"代际公平"和"让AI造福当代与后代"的宏大叙事。现在它最著名的标签,是一份经不起核实的引用清单。
通信部长索利·马拉茨在X平台发文承认,部门在收到举报后重新核查,发现部分引用确实系编造。"这一失败并非单纯的技术问题,而是损害了政策草案的完整性与可信度。"
「AI生成的引用似乎未经任何核查就混了进来。」马拉茨说。
南非媒体News24此前的调查指出,报告中至少有六条参考文献是伪造的。专家分析,这些错误呈现典型的AI幻觉特征:表面 convincing,底层全空。
从内阁签字到公开出丑,这份承载着国家AI治理野心的文件,用了不到72小时完成信誉崩塌。
议会介入:别再用ChatGPT了
News24报道发布后,议会监督该部门的 portfolio 委员会主席库塞拉·桑戈尼-迪科公开向马拉茨施压,要求立即撤回文件以避免更大尴尬。
她的建议直白到刺耳:重拟时"这次别用ChatGPT了"。
桑戈尼-迪科还补了一刀:政府不该寻找替罪羊,或者"替罪机器人(scape-bot)"。
这个双关精准刺中了事件的核心矛盾——当监管者试图用被监管对象(生成式AI)来制定监管规则,谁来保证规则本身的可靠性?
马拉茨的回应是承诺"后果管理",涉事起草与签批人员将被追责。同时他强调:「这一不可接受的疏漏证明了,对人工智能使用保持警惕的人工监督至关重要。这是一个我们虚心接受的教训。」
不是孤例:澳大利亚的"幽灵法庭引述"
南非的翻车并非全球首例。The Register去年报道过类似案例:澳大利亚一份政府报告同样混入AI生成的引用,甚至包含一段虚构的法庭陈述。
德勤随后介入清理。这件事留下一个粗糙但有效的经验法则——让机器写是一回事,核查它是另一回事。
两次事件的共同模式值得拆解:
第一,生成环节。AI工具被用于加速文档产出,尤其在涉及大量文献综述的政策研究领域,幻觉引用是已知风险。
第二,审核环节。传统的官僚签批流程(内阁审议、部门会签)未能识别机器编造的内容,说明现有治理结构对AI产出缺乏针对性校验机制。
第三,曝光环节。最终发现问题的是外部媒体或专家,而非内部质量控制。这意味着AI辅助写作的文档在发布前,其"机器痕迹"未被主动标记。
南非的特殊性在于,它试图监管的领域正是导致其出丑的技术。这种"用AI管AI"的循环漏洞,比单纯的技术失误更具结构性讽刺。
为什么这件事值得科技从业者紧盯
对25-40岁的科技从业者来说,南非事件不是遥远的政府闹剧,而是一面近距离的警示镜。
首先,它验证了"幻觉"不是理论风险,是已造成实际治理事故的生产级漏洞。当你的产品涉及内容生成,用户(哪怕是政府用户)默认的"信任阈值"可能远高于你的技术实际能支撑的水平。
其次,它暴露了B端AI应用的一个隐性成本:审核人力并未因生成效率提升而减少,反而需要升级。南非内阁的签批流程没能拦住假引用,说明传统审核范式对AI产出无效。企业如果简单地把AI接入工作流而不重构质检环节,就是在复制同样的风险。
第三,监管套利窗口正在收窄。南非政府自己成了AI治理的负面案例,这预示着未来AI相关政策的制定过程将面临更严格的溯源要求。"我们的政策是人工撰写的"——这句话可能很快从废话变成卖点。
马拉茨的表态提供了一个官方视角的总结:「我们要向全国保证,正以应有的严肃态度处理此事。」
但严肃本身不够。当一份AI政策的可信度被AI摧毁,修复信任需要的不是更多表态,而是可验证的流程重构。
南非现在面临的选择是:下一版草案是否公开其写作工具链?是否强制标注AI辅助段落?是否引入第三方事实核查?这些问题的答案,将构成全球AI治理的早期参考模板。
至于那份被撤回的草案,它的遗产或许比生效更持久——作为第一个因AI幻觉而死亡的国家AI政策,它证明了监管者与被监管技术之间的边界,比文件里的"代际公平"承诺更难把握。
至少现在,当有人再问"AI治理最大的风险是什么",南非有了一个现成的答案:可能是治理文件本身。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.