网易首页 > 网易科技 > 网易科技 > 正文

国家网安周拿下第一!深信服保护AI展现创新实力

0
分享至

(原标题:国家网安周拿下第一!深信服保护AI展现创新实力)

在国家网络安全宣传周期间举行的2026年中国网络安全创新创业大赛总决赛现场,深信服保护AI解决方案凭借在AI安全治理上的创新探索与实践,获评一等奖。大赛由中国网络安全产业联盟(CCIA)、教育部高等学校网络空间安全专业教学指导委员会联合主办。

今年进入复赛的安全方案中,超过半数涉及智能体安全,赛事检验的也不只是一个创新理念:参评方案须已实际部署应用,并具备技术先进、模式创新等特点,让创新接受真实应用的检验。在这样一场兼顾创新与应用的同台竞逐中,这份一等奖更显分量。

2026年中国网络安全创新创业大赛总决赛现场

企业把更多工作交给AI,需要的不只是效率提升,还要在关键时刻看得清、管得住。保护AI解决方案围绕这一需求,将大模型内容安全与智能体的身份、权限、行动治理纳入整体方案。

真正的考验,常常藏在智能体即将执行的下一步动作里:让它整理内部资料,它却准备外传原始文件;让它排查系统故障,它却计划修改生产配置——任务还在继续,行动却已经偏离初衷。

智能体走进业务,企业如何放心用AI?围绕这一问题,在本届网安周的人工智能安全治理分论坛上,深信服AI安全规划总经理云瀚以《智能体安全探索与实践》为题,分享了保护AI在智能体场景中的治理思考与实践:从上线前的风险评估、身份授权,到运行过程中的意图识别与控制,让安全贯穿智能体的工作过程。

深信服AI安全规划总经理云瀚分享《智能体安全探索与实践》

业务越深入、决策越自主,安全风险如何变化?

当智能体开始读取业务数据、调用生产运维工具,它的判断便可能直接影响业务运行。有害输出、敏感信息泄露等风险依然存在,错误决策还可能通过工具调用,引发数据篡改、业务中断。接入的系统和业务链路越多,风险波及的范围也可能越广。

而这些后果,可能起于一次看似正常的信息读取。一份被污染的知识库文档、一条夹带恶意指令的工具返回信息,都可能让智能体偏离原本的任务。攻击者未必需要直接入侵业务系统,也可能通过影响智能体的判断,诱导它借助已有权限执行有害操作(AI Security)。

随着智能体具备自主决策能力,有害行为的成因也变得更加复杂。即使没有外部攻击,智能体也可能因理解偏差、规划失误或设计缺陷造成业务损害(AI Safety);这些缺陷又可能被攻击者利用,使外部影响与自身失控交织在同一条执行链路中。

面对这些变化,云瀚在分享中指出,企业需要通过同一套治理与控制机制统筹应对AI Security与AI Safety,让智能体的决策和行动受到任务目标、权限边界与业务规则的约束。

这也意味着,企业面对的已经不只是一个生成内容的工具,而是一名能够读取数据、调用工具、自主执行任务的“数字员工”。云瀚在分享中将相应的治理路径概括为「数字员工的治理&防护旅程」:像管理员工一样治理智能体,把准入评估、身份确权、权限管理、内容防护、行为监测和溯源处置贯穿其工作过程。

保护AI治理的本质,是在智能体的自主性与企业的安全性之间建立平衡,让这些「数字员工」既能发挥能力,也能受到清晰、持续的管理。

将安全治理贯穿智能体的准入、授权、运行与持续运营

对「数字员工」的管理,不能止于配好权限。权限回答了“它有权做什么”,业务安全还要回答“在当前任务与业务环境中,这一步该不该做”。

权限已经配好,但当智能体“有权做”却“不该做”时,企业能否在损失发生前及时发现并介入?

回答这个问题,既要在上线前评估风险、明确身份与权限,也要在运行过程中识别意图偏离,并根据风险及时介入。

上线之前,先评估风险、明确身份与权限

一名「数字员工」能否上岗、由谁负责、可以做什么,需要在上线前明确。

智能体风险评估:AI Red Team

通过自动化红队测试,模拟多轮交互中的攻击与诱导,观察智能体是否偏离预定任务、风险在什么条件下触发;同时检查其挂载的Skills等组件,识别危险执行、异常外联和敏感数据外泄风险,形成可定位、可解释、可复现的证据,为上线与整改提供依据。

构建智能体“数字身份证”

统一的Agent ID将创建者、所属部门与任务类型、工具清单及安全属性关联起来,让不同智能体实例对应到具体责任人。就像员工有明确的身份和职责,“数字员工”的授权、行为分析与审计追溯,也需要有据可查。

事前治理:智能体分类分级策略

结合业务角色、实际能力、自主程度、数据敏感度和影响范围,对智能体进行分类分级,确定与风险相匹配的管控要求。修改生产配置、接触敏感数据、输出高影响建议,需要根据各自的业务影响设置相应约束。

事前治理:智能体能力基线检查

在分类分级的基础上,进一步明确具体动作的边界:哪些数据可以读取或写入,能否向外发送信息,哪些行为需要人工审批,是否允许委托其他智能体执行任务。从“它能做什么”到“企业允许它做什么”,需要有清晰、可执行的边界。

针对不同分类的智能体,设置相应的权限和审批要求

运行之中,识别意图偏离,及时介入控制

上线前确定的是智能体进入业务的初始边界。进入真实任务后,它会不断接收新信息、调用工具并调整执行路径,治理也需要跟随任务过程持续进行。

事中治理:智能体意图偏离与风险监测

判断智能体的下一步行动,需要先还原任务背景:谁发起了任务,目标是什么,智能体依据哪些信息作出判断,准备调用什么工具,又将影响哪些对象。意图识别厘清任务的目标与约束,意图偏离判断则进一步核对智能体的行动是否与之相符。

以整理内部资料为例,任务只要求形成内部摘要,智能体却准备外传原始文件。此时,需要结合文件敏感性、接收方及任务授权,判断这一动作是否应当执行,并结合上下文识别可能的外部诱导或自身理解、规划偏差。

事中治理:智能体风险裁决矩阵

判断要落实为控制动作:需要补充信息时,提示或调整;需要人工判断时,进入审批;明确违反策略或可能造成严重后果时,则应阻断,必要时熔断任务。云瀚在分享中介绍了风险裁决矩阵,将风险行为与影响等级结合,让管控强度与业务风险相匹配。

从识别意图、判断偏离到介入处置,治理的目标是让智能体始终处于组织和人的控制之下,防止错误决策演变为失控行动。行为记录与处置依据还需关联到身份和责任人,用于调查追溯、权限收敛和策略优化。

结合任务、上下文与行为影响,判断并控制智能体的下一步行动

以攻防积累与安全模型,支撑AI治理创新

识别隐藏在正常任务中的恶意意图,判断一次操作是否偏离业务目标,需要对攻击手法、任务上下文和业务规则有深入理解。在深信服看来,无论治理大模型还是智能体,都必须以基于红队攻击数据训练的垂域安全大模型作为核心技术支撑。

这条技术路线,需要同时跨过数据与模型两道门槛。

用实战数据打牢基础。深信服20多年的红队攻防、渗透测试与漏洞研究,积累了丰富的实战样本与研究经验,让安全模型能够学习不同攻击手法与恶意意图的伪装方式。

用专业研发把经验转化为能力。由计算机博士与资深攻防专家领衔的核心团队,持续通过算法调优与工程实践,让安全模型兼顾检出能力、误报控制和响应效率。200余人的专职AI安全研发团队与上千块高性能GPU组成的算力集群,支撑模型训练和持续迭代。

沿着「AI保护AI」的技术思路,深信服将攻防与模型能力用于风险评估、意图识别和行为分析,并结合规则、业务知识与人工研判,衔接身份、权限、行动控制和审计,让风险能够被发现、被判断,也能得到及时处置。

从大模型安全防护到智能体应用治理,深信服保护AI持续把创新落到企业使用AI的实际需求中。让「数字员工」承担更多有价值的工作,让关键决策和行动始终有边界、有监督。让AI可见、可控、可管,助用户安全放心用AI。

持续承载用户的数字化及AI业务创新,深信服提供通智算承载、算力调度优化、AI应用构建及全流程安全防护,为各行业用户夯实数字底座、赋能智能进阶。致力于让每个用户的数智化更简单、更安全。

相关推荐
热点推荐
明日揭幕!角逐总决赛席位 武网为何是球星们“必争之地”?

明日揭幕!角逐总决赛席位 武网为何是球星们“必争之地”?

新英体育
2026-10-09 14:36:40
克什米尔地方官员曾称:若必须选,我们既不想加入印度,也不想加入巴基斯坦,克什米尔民众更倾向于加入中国,其背后是70年难以破解的僵局

克什米尔地方官员曾称:若必须选,我们既不想加入印度,也不想加入巴基斯坦,克什米尔民众更倾向于加入中国,其背后是70年难以破解的僵局

z千年历史老号
2026-10-08 18:31:38
以为会低调收手!蔡康永海外发声亮明态度,早已不打算回头

以为会低调收手!蔡康永海外发声亮明态度,早已不打算回头

全球风情大揭秘
2026-10-08 18:29:44
俄外交官向中方解释清楚,俄罗斯没想和中国争,只是出于本国利益

俄外交官向中方解释清楚,俄罗斯没想和中国争,只是出于本国利益

别让往昔的悲伤和对未来的恐惧
2026-10-09 03:51:59
一味中药,清肝明目,润肺止咳,止盗汗

一味中药,清肝明目,润肺止咳,止盗汗

环京快爆
2026-10-09 08:52:09
确认报案!“逼空姐下跪”的大老板,开始慌了!

确认报案!“逼空姐下跪”的大老板,开始慌了!

财经要参
2026-10-08 20:30:05
中国计划提名宋莉竞选下一任世卫组织总干事,中方:相信如果宋莉博士当选,将有助于这一组织在提升全人类健康福祉方面发挥更为积极的作用

中国计划提名宋莉竞选下一任世卫组织总干事,中方:相信如果宋莉博士当选,将有助于这一组织在提升全人类健康福祉方面发挥更为积极的作用

政知新媒体
2026-10-08 15:39:26
“乡下父母全是这样被骗的”,中职女孩穿廉价警服,过来人说实话

“乡下父母全是这样被骗的”,中职女孩穿廉价警服,过来人说实话

番外行
2026-10-09 09:40:45
刘亦菲现身上海机场!穿瑜伽裤显腿粗屁股塌,三角区挤肉好尴尬

刘亦菲现身上海机场!穿瑜伽裤显腿粗屁股塌,三角区挤肉好尴尬

白面书誏
2026-10-09 17:22:21
尊界刹车踏板断裂,华为推荐官三问懂车帝,她曾一年帮卖近10亿

尊界刹车踏板断裂,华为推荐官三问懂车帝,她曾一年帮卖近10亿

映射生活的身影
2026-10-08 16:09:00
提气!一场2-0,郑钦文夯爆了:掀翻6号种子,对手曾6次阴阳中国

提气!一场2-0,郑钦文夯爆了:掀翻6号种子,对手曾6次阴阳中国

大秦壁虎白话体育
2026-10-09 17:39:02
重磅!罕见跨阵营致敬!葡媒盛赞梅西:五百年传奇,无人能超越

重磅!罕见跨阵营致敬!葡媒盛赞梅西:五百年传奇,无人能超越

生活新鲜市
2026-10-09 07:59:12
网友称大英博物馆一青花瓷碗在展柜内摔碎,在场留学生讲述:当日展厅非常拥挤

网友称大英博物馆一青花瓷碗在展柜内摔碎,在场留学生讲述:当日展厅非常拥挤

潇湘晨报
2026-10-08 18:54:10
马斯克和黄仁勋同台,获特朗普亲发的奖章,俩科技大佬的母亲也到场了

马斯克和黄仁勋同台,获特朗普亲发的奖章,俩科技大佬的母亲也到场了

译言
2026-10-09 10:50:48
年轻人的无效节俭能有多费钱?网友:有时候远离爹妈可以多活10年

年轻人的无效节俭能有多费钱?网友:有时候远离爹妈可以多活10年

带你感受人间冷暖
2026-10-08 00:05:18
快讯!蔡康永竟然跑到日本去了!

快讯!蔡康永竟然跑到日本去了!

故事终将光明磊落
2026-10-09 14:44:39
骑士113-124输凯尔特人!这一战看到4个事实:3年9700万留下哈登是对的

骑士113-124输凯尔特人!这一战看到4个事实:3年9700万留下哈登是对的

篮球大视野
2026-10-09 09:57:00
超越英伟达!芯片巨头单季利润800亿美元,全球第一!

超越英伟达!芯片巨头单季利润800亿美元,全球第一!

EETOP半导体社区
2026-10-09 09:55:35
高市早苗公开反对特朗普,称不会将AI改名为SI,此前特朗普称任何继续使用“AI”一词而非“SI”的都是敌人

高市早苗公开反对特朗普,称不会将AI改名为SI,此前特朗普称任何继续使用“AI”一词而非“SI”的都是敌人

极目新闻
2026-10-09 13:50:37
郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

南海浪花
2026-10-09 16:14:57
2026-10-09 18:23:00

科技要闻

字节"干扰模型训练"实习生融资近2亿元

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

体育要闻

30天30队·鹈鹕:胖虎又一年“如果”

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

央行为何发布关于人民币汇率的政策立场

汽车要闻

比亚迪第三代唐内饰发布 两种风格/巨幕屏最抢眼

态度原创

健康
艺术
手机
亲子
军事航空

痘坑留下后,还能填平吗?

艺术要闻

当代油画家区础坚 女性人物油画选

手机要闻

一加16官宣:首发9000mAh冰川电池,支持100W有线、50W无线

亲子要闻

【科普】你能分清「生育率」和「出生率」吗?

军事要闻

直击南部战区海军某部重装空投训练

无障碍浏览 进入关怀版
×