西安建筑科技大学科研团队破解AI虚假信息识别与治理难题

中国教育报-中国教育新闻网讯（通讯员 肖雯雯 记者 冯丽）记者日前从西安建筑科技大学获悉，该校管理学院智能管理与决策团队在人工智能虚假信息识别与治理研究领域取得重要进展，首次揭示了AI虚假信息的质量调节效应，为政府推进数字安全和网络生态治理提供了关键技术支撑。相关研究成果于近日发表在《自然》（Nature）子刊Nature Communications。

随着生成式人工智能技术的广泛应用，虚假信息的生产与传播方式正在发生深刻变化。与传统人工编造的谣言不同，AI虚假信息在语言流畅性和结构完整性方面更具迷惑性，给识别与治理带来了新的挑战。尽管近年来学界普遍尝试利用AI参与事实核查与虚假信息检测，但在实际应用中，其识别效果并不总是稳定可靠。

针对这一现实问题，研究团队将研究视角从“如何使用AI识别虚假信息”转向“AI在语言理解与生成层面存在哪些内在局限”。研究从心理语言学和计算语言学的交叉视角出发，系统分析了AI真实内容、AI虚假内容与人类文本在语言特征上的差异，并进一步探讨哪些语言信号可能有助于提升虚假信息的识别能力。

研究团队综合运用心理语言学分析、语言毒性与错误检测、语法依存结构和词性组合分析，并结合零样本提示实验与误判样本分析，开展了多维度实证研究。研究首次提出并验证了“AI虚假内容的质量调节效应”，即随着生成内容质量的提高，AI文本在创造性、表达规范性和整体可读性上逐渐逼近人类写作，同时其可被检测的语言差异却不断减弱。这一发现表明，当AI被用于高质量“洗稿”或细节捏造时，无论是普通读者，还是现有依赖大型语言模型的检测工具，其识别难度都会显著增加。研究结果不仅揭示了单纯依赖语言特征或大型模型进行虚假信息检测所面临的潜在风险，也为理解AI生成文本的认知加工机制提供了新的证据支持，相关结论在一定程度上呼应了刺激贫乏理论、范例理论和加工流畅性理论，为AI虚假信息研究提供了更具解释力的理论框架。

“本研究为政府监管部门、互联网平台及相关管理机构在制定AI信息治理策略、优化AI虚假检测技术和完善风险预警体系方面提供了重要参考。”论文作者张新生教授表示，团队未来将深入开展多模态AI虚假信息的治理研究，为推动人工智能安全应用与社会治理现代化提供更坚实的科学依据。

作者：肖雯雯 冯丽