齐向东：把握五大关键 化解大模型应用落地的三重挑战

4月29日，第八届数字中国建设峰会数字经济分论坛在福州举行。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东受邀出席并做主题演讲。他表示，新技术是把双刃剑，大模型应用一端连着机遇，一端连着挑战，面对大模型应用的三重挑战，需抓住“接入放心用”“权限强管控”“严把内容关”“杜绝新隐患”“运营可闭环”五个关键，筑牢人工智能的安全底线，为千行百业抓住人工智能新机遇，吃下一颗“定心丸”。

发展是硬道理，安全也是硬道理

当前，人工智能大模型应用迎来大爆发，从直接部署的基本应用、特定场景的增强应用、垂直领域的专业应用，再到特定领域的深度应用，政企机构正在大模型的驱动下，焕发出更澎湃的生产力、创造力。然而，新技术犹如一把双刃剑，在带来机遇的同时，也面临着诸多挑战。齐向东总结大模型应用面对的安全挑战有三重。

第一重挑战是，“小数据”一失万无，“小数据安全”成为数字经济时代的核心关切。在数字经济时代，数据如同驱动发展的“石油”，人工智能则是“发动机”。过去，人们谈及数据多是大数据，规模庞大但质量参差不齐，价值挖掘困难。如今，借助人工智能大模型，企业通过对设计、生产等数据进行加工处理，形成精华“小数据”，这些“小数据”成为企业核心竞争力所在。但一旦“小数据”被窃取、泄露或篡改，企业多年积累的优势将瞬间崩塌。

第二重挑战是，大模型融通百业，“裸奔”上线极有可能引发业务停摆的链式危机。当大模型深度融入智慧城市、工控系统、智慧政务等关键领域时，会将风险串联成网。奇安信资产测绘鹰图平台监测发现，8971个Ollama大模型服务器中有6449个活跃服务器，其中近九成都在“裸奔”，任何人无需认证即可随意调用、访问服务，甚至能删除重要模型文件，进而导致与大模型关联的应用业务中断。

第三重挑战是，对AI过度依赖，善恶真伪难辨别，一旦大模型决策失准会引发“蝴蝶效应”。随着人工智能的深入应用，人们对人工智能辅助决策依赖日益加深，这给了不法分子可乘之机。从外部攻击视角看，黑客可以通过漏洞利用、数据投毒等方式，干扰大模型的决策，披着大模型的外衣作恶；从内部运营视角看，如果内部员工在更新知识库时，引入错误信息会污染模型学习环境，使其输出错误结论。

筑牢AI安全底线，共建发展新生态。

面对这些挑战，齐向东提出了筑牢AI安全的“五个关键”。

首先是接入放心用，构建大模型安全“红域”形成多维度边界隔离。奇安信创新提出了安全“红域”概念，将大模型应用涉及的数据、算力、平台、应用以及域内管理的终端及人员划归到专属安全空间中进行防护，并在每个与大模型交互的接入点设置安全空间控制单元，通过多维度的边界隔离，为大模型应用落地“强基础、控权限、审数据、拦攻击、清风险”。

其次是权限强管控，以用户身份为新边界开展网络和数据安全防护。通过堡垒机、“零信任”等技术措施，对开发、训练等相关特殊人员和终端进行增强式安全管控。其中，“零信任”架构能在认证主体角色基础上，叠加IP、设备、安全环境和时间、位置及其上网行为基线等属性，确保合适的人在合适的时间、以合适的方式，访问合适的数据，杜绝“内鬼”隐患。

三是严把内容关，构建贯穿大模型全生命周期的内容安全治理机制。通过强化监测审计，实现对大模型的核心数据管控。包括对用户使用大模型过程中的不良内容、异常访问行为进行监测、审计、拦截和预警，及时优化管控策略。

四是杜绝新隐患，以实战为导向加强大模型应用安全评估。通过实战化评估方法，对大模型安全、大模型内容安全、智能体安全、大模型组件安全以及大模型运行环境安全等方向进行全面检测评估，验证安全策略有效性。并构建纵深防御与监测技术能力，降低大模型应用的数据泄露风险与业务中断风险。

五是运营可闭环，做到对安全威胁的实时监测和应急处置。齐向东表示，“未来网络安全得AI者得天下。”奇安信率先提出“AI驱动安全”理念，推出AISOC，把AI的能力嵌入到研判、调查、响应、报告、狩猎、策略创建等安全运营工作，实现了大运营与AI的有机结合。面对人工智能落地应用带来的多重安全挑战，要用AI对抗AI，增补面向大模型攻击及异常行为的检测手段，实时监测针对大模型的攻击行为，并实现高效拦截，形成安全运营的闭环。

“我相信，把握好这五个关键，一定能够确保人工智能大模型应用安全落地，发挥出驱动数字经济发展的正向价值。”齐向东表示，奇安信将深挖优势，“以AI驱动安全”，助力构建数字经济安全新生态。

本文源自：金融界