北京
中国青年报客户端南宁5月19日电（中青报·中青网记者 张渺）“人工智能系统安全和网络文明是密切相关的，它已经成为保障网络文明、治理网络空间的主要内容之一。”在2026年中国网络文明大会人工智能赋能网络文明建设分论坛上，中国科学院院士管晓宏强调，人工智能系统安全已不仅是技术问题。面对当前信息科技“网络化、智能化”以及“信息物理融合系统”的发展趋势，人工智能安全“是网络空间安全体系的一部分，其风险贯穿于从构建到应用的全生命周期”。
管晓宏详细剖析了人工智能系统面临的严峻挑战。他提到，在系统构建过程中，数据、模型和框架层面均存在巨大隐患。用他的话说，“有人做矛，有人做盾”，有人“投放毒数据故意篡改或者污染训练数据”，而这种数据投毒行为，直接动摇了算法的安全性与稳定性。
“人工智能系统构建的安全性至关重要，需要重点防御数据投毒、隐私泄漏及开发框架缺陷。”管晓宏解释，在模型层面，大模型的参数量巨大且可解释性差，极易引发后门攻击，甚至导致模型幻觉；在框架层面，主流的开源开发框架种类繁多、代码量大，底层依赖库复杂且不可信，潜藏的逻辑漏洞已成为威胁人工智能系统安全的重要隐患。管晓宏举例，框架漏洞植入后，可引发巨额经济损失，甚至导致“在特制底层硬件不可用”。在应用层面，系统滥用导致的深度伪造、管控越狱以及系统失控带来的意图生成失控、智能体越权执行等问题，正对国家安全和社会稳定构成实质性威胁。
面对层出不穷的AI威胁，传统的“打补丁”式防御已宣告失效。管晓宏建议，要采取技术与管理相结合的治理方式，尤其是在管理机制上，“必须将安全意识前置”。
“如果在一开始就考虑风险，进行设计，就会比后来发现问题再去‘打补丁’要容易得多。所以，我们要完善法律法规和制度体系，推动技术同步发展。”管晓宏说，“另外，就是要研发具备准确性、稳定性、隐私性和可解释性，安全性最大化的核心算法，构建覆盖数据、算法、设施和应用的多层防护技术体系。人工智能系统应用具备深度伪造内容识别、越狱防护等安全机制，采取动态防御策略，以应对快速演化的攻击手段”。
他最后强调，唯有政产学研协同发力，将安全防线前移，才能真正为蓬勃发展的网络文明铸就一道坚不可摧的隐形盾牌。
来源：中国青年报客户端
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
