近日,演员温峥嵘在直播间自曝被AI换脸盗播,多个直播间出现其带货形象一事引发热议。360数字安全集团总裁胡振泉在谈及AI换脸乱象时表示,当前AI生成内容太逼真,以现有的识别和鉴定技术“看破”它们仍有难点,公司正在重点攻克。目前党政单位、机关单位等针对这类问题有大量相关安全需求。
![]()
胡振泉发言 图源主办方
11月6日至9日,2025世界互联网大会乌镇峰会在浙江乌镇举行。在前沿人工智能模型论坛上,胡振泉正式发布《大模型安全白皮书》(下称《白皮书》),并在会后接受南都等媒体采访。
今年9月,国家计算机网络应急技术处理协调中心发布了国内首次针对AI大模型的实网众测检验结果,累计发现各类安全漏洞281个,其中大模型特有漏洞177个,占比超过60%。胡振泉指出,当前AI大模型产品面临着大量传统安全领域之外的新安全风险,攻击手段已从技术层面的单一威胁演变为系统性风险。特别是智能体出现之后,攻击的门槛越来越低,风险成指数级增长。
在分析2025年国内外多起典型大模型安全事件的基础上,《白皮书》系统性归纳了威胁大模型安全的五类关键风险。
具体而言,基础设施安全风险包括设备控制、供应链漏洞、拒绝服务攻击以及算力资源滥用等问题;内容安全风险,涉及不符合核心价值观、虚假或违规内容、大模型幻觉,以及提示注入攻击等;数据与知识库安全风险中,数据泄露、越权访问、隐私滥用和知识产权问题日益突出;随着智能体自主性增强,插件调用、算力调度、数据流转等环节的安全边界更加模糊;用户端安全风险包括权限控制、API调用监控、恶意脚本执行以及MCP执行安全等。这些风险相互交织,形成传统安全方案难以应对的复杂威胁矩阵,严重威胁个人权益、企业发展乃至国家安全。
面对上述复杂挑战,《白皮书》提出双轨治理策略。“外挂式安全”侧重模型外部防护,通过“以模治模”实现对算力主机、软件生态、输入输出内容及模型幻觉的主动监测与防御。“平台原生安全”聚焦大模型数据、知识库、智能体及客户端等环节,将安全能力嵌入核心组件,强化配套组件安全与全流程合规管控。
会后,胡振泉接受南都等媒体采访。今年以来,AI智能体领域似乎经历了从热捧到质疑的“过山车”,不时陷入“难用”“不靠谱”等争议。胡振泉谈及AI智能体的发展前景时,态度较为乐观。
在他看来,智能体作为大模型应用与落地的重要承接载体,在发展过程初期饱受争议是十分正常的一件事,并不影响它有望成为AI应用的主流形态。“举一个简单的例子,回忆一下我们刚接触电脑的时候,那时电脑的性能比较差,上网的速度也很慢,各种应用经常卡顿,AI智能体现在就处于类似阶段。”
他表示,智能体就像数字世界里的机器人。大模型相当于大脑,智能体补上了没有手和脚的“缺陷”,能独立调用技术、感知环境、分析判断、规划执行,“大模型从一个单纯的、还偶尔出错的聊天机器人变成现在可作为一种技术工具影响各种业务,也不过两三年时间。目前智能体没有想象中高效,但很快也会迎来巨大跃升。”
采写:南都N视频记者 樊文扬 发自乌镇
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.