网易首页 > 网易号 > 正文 申请入驻

2026年十大关键AI安全控制措施:从深度可视到持续验证

0
分享至

摘要:为保障人工智能(AI)及智能代理体(Agent)的安全使用,必备的控制措施包括深度可见性、强身份认证以及AI感知的数据防泄漏。

能提升生产力的AI和智能代理体技术的到来无疑是一件好事。但要充分利用AI,必须从一开始就认真对待安全和治理。



首先,对AI使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些AI工具正在被使用和滥用?哪些代理体正在运行?又有哪些MCP服务器可能连接到内部系统?

其次,诸如强身份认证、AI感知的数据防泄漏和持续的AI红队测试等也是非常关键的AI安全控制措施。

以下是CRN整理的2026年10项关键AI安全控制措施的详细信息,以供大家参考,确保生成式AI驱动工具和AI代理体的安全使用。

1. 深度可见性

在AI方面,资产清单的可见性至关重要。因此,2026年大多数组织的 foundational AI安全控制将围绕获取所有AI使用情况的全面可见性展开。无论是监督已批准的AI SaaS平台和代理体的使用,还是检测员工使用未经批准的“影子AI”工具。

深度可见性需要能够实时看到正在发生的事情,而非事后。这种可见性应涵盖正在使用的AI工具、使用者以及被访问的数据。此外,组织还需要了解AI工具如何与内部系统交互。

2. 经批准的AI工具

对许多组织而言,提供一份经批准过的AI工具清单,或者直接向员工部署工具,将是实现生成式AI和代理体安全使用的关键部分。这对于尽可能杜绝影子AI至关重要,并且与提升AI可见性相辅相成。提供经批准的AI工具向员工传递了一个信号——在满足组织安全和治理需求的前提下,使用AI是受到鼓励的。

3. 强身份认证与访问控制

要真正实现能提升生产力的生成式AI和代理体使用,身份和访问方面的考虑应至关重要。关键控制措施包括:对访问系统和数据的每个AI工具或代理体进行强身份认证(即使在初始认证后也需持续授权和验证),以及诸如即时访问等最小权限访问控制。

利用由AI驱动的行为分析,对于检测异常的身份和访问活动也非常重要。总而言之,组织必须将AI代理体视为与人类身份同等重要,对其进行与员工相同的资产清单管理和治理。

4. 治理与策略执行

为AI使用建立强有力的治理和策略执行是显而易见的必要措施。设定AI使用的参与规则要求组织考虑广泛的变量。治理和策略实施可能需要涵盖谁可以使用AI工具,谁可以使用哪些工具,可以访问什么数据,如何利用输出结果。

AI代理体的引入带来了进一步的挑战:为确保代理体不偏离预期目标,在代理体之上增加一个额外的执行层将至关重要。这正是可见性作为基础要求发挥作用的地方,必须要知道智能代理体解决方案本身实际在计划和执行什么,如何理解在该代理体工作流程中实际生成的正确输出是什么。

5. AI感知数据防泄漏

AI感知的数据分类和数据防泄漏(DLP),需要能够实时应用于提示词、上传内容、输出结果以及代理体间的数据交互。同时,与传统方法不同,AI感知的DLP利用上下文分析来理解用户和代理体的意图,然后可以根据组织策略,在敏感数据暴露之前进行拦截或编辑。

6. 持续AI红队测试

生成式AI和代理体模型的动态、持续演进特性给测试过程带来了巨大的复杂性。如果没有自动化,从财务或运营角度来看,持续进行AI测试对大多数组织来说是不可能的。聘请一家大型公司持续进行AI红队测试可能需要花费数百万美元。

然而,使用AI本身的新工具“将尽可能有效且持续地进行这项工作”。这些新的AI驱动工具可以探测诸如提示注入、数据暴露和未经授权的代理体行为等漏洞,即使模型更新和代理体获得新能力,也能持续运行测试。

7. 供应链安全

AI供应链安全,它侧重于评估和管理由AI模型提供商、开源软件和第三方数据源引入的风险。例如,第三方模型中的漏洞或被投毒的训练数据,即使组织已采取所有正确步骤保护自己的内部模型,也可能导致巨大的安全风险。

因此,组织应考虑将AI安全控制扩展到自身环境之外,例如通过进行供应商风险评估和追踪AI模型的来源。对第三方组件的变更或新出现的威胁进行持续监控,是大多数组织需要采取的另一个重要步骤。最终目标是,对AI模型和代理体框架应用与传统软件系统同样严格的安全级别。

8. AI风险监控

对于许多新的AI系统,随着模型的使用,其性能和行为很可能会发生变化,它可能会随着时间的推移变得更好或更差,AI风险监控对于识别性能随时间下降的情况最为重要。可能出现的主要风险包括幻觉、模型漂移、偏见或违反策略等。部署对AI系统的持续监控可以在早期阶段发现此类问题,最终使团队能够在风险升级之前进行干预。

9. 持续验证

正如AI风险监控评估AI模型随时间的行为变化一样,对AI安全控制措施本身进行持续验证也同等重要。随着AI模型、代理体和数据源的变化,组织已实施的AI安全控制措施可能不再像以前那样有效。持续验证侧重于通过一致的测试来验证AI安全控制措施,如身份执行、数据保护和治理等是否仍在按预期正常运行。此类流程适合自动化,自动化可以快速检测策略漂移、错误配置和其他问题。

10. AI安全培训

最后一项,组织需要考虑AI风险中的人为因素。如果组织不确保其团队接受有关AI工具的安全使用、常见风险和相关公司政策的培训,那么先进的AI安全控制措施可能会迅速变得无效。许多员工在使用AI和代理体时仍然不太谨慎,因此必须培训他们,让他们了解如何使用AI工具,并给他们一份AI使用政策。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖北联投:一家千亿国企的腐骨

湖北联投:一家千亿国企的腐骨

大嘴説
2026-04-28 11:31:01
CCTV16直播,成都迎争冠试金石 韦林顿PK拉唐 申花未来4场全硬仗

CCTV16直播,成都迎争冠试金石 韦林顿PK拉唐 申花未来4场全硬仗

替补席看球
2026-04-28 11:44:50
亚冠精英赛决赛颁奖典礼,町田球员疑似向裁判团队竖中指

亚冠精英赛决赛颁奖典礼,町田球员疑似向裁判团队竖中指

懂球帝
2026-04-27 17:59:05
国乒出征伦敦!新队服亮相,合影王楚钦让位,“三大主父”穿旗袍

国乒出征伦敦!新队服亮相,合影王楚钦让位,“三大主父”穿旗袍

翰飞观事
2026-04-27 19:35:28
28号午评:三大指数小幅下挫,所有人都注意,大盘后市开始这样看

28号午评:三大指数小幅下挫,所有人都注意,大盘后市开始这样看

春江财富
2026-04-28 11:55:28
正式上任,68岁冯巩有“新身份”,和搭档闫学晶关系早就真相大白

正式上任,68岁冯巩有“新身份”,和搭档闫学晶关系早就真相大白

八斗小先生
2026-04-27 17:48:54
同样被迫害,为什么台湾人不恨日本,反而更亲日?

同样被迫害,为什么台湾人不恨日本,反而更亲日?

真猫爷的渔场
2026-04-26 20:03:07
脸没恢复就别出来拍剧了,顶着肿胀脸、笨重假发套,太让人出戏了

脸没恢复就别出来拍剧了,顶着肿胀脸、笨重假发套,太让人出戏了

白面书誏
2026-04-14 18:34:11
特朗普政府解散美国国家科学委员会 全体成员被撤职

特朗普政府解散美国国家科学委员会 全体成员被撤职

新京报
2026-04-28 10:14:07
谁能夺得本赛季总冠军?马布里给出答案,看衰如日中天的上海队

谁能夺得本赛季总冠军?马布里给出答案,看衰如日中天的上海队

南海浪花
2026-04-28 08:00:51
新北“蓝白合”民调下午出炉!蒋万安喊话挺李四川:一起全力以赴

新北“蓝白合”民调下午出炉!蒋万安喊话挺李四川:一起全力以赴

海峡导报社
2026-04-28 10:48:20
性感美女火遍全球!死或生销量超1100万 新作开发中

性感美女火遍全球!死或生销量超1100万 新作开发中

游民星空
2026-04-28 12:21:42
相亲态度反转!女生得知对方在上海、北京有房后,直言彩礼没意义

相亲态度反转!女生得知对方在上海、北京有房后,直言彩礼没意义

火山詩话
2026-04-27 06:09:22
触目惊心!央视曝光上海一中医馆:从医生到病人全是演员!

触目惊心!央视曝光上海一中医馆:从医生到病人全是演员!

人间颂
2026-04-20 10:16:00
沙媒:亚冠冲撞马宁的球员被球队处罚,预计还将遭亚足联重罚

沙媒:亚冠冲撞马宁的球员被球队处罚,预计还将遭亚足联重罚

懂球帝
2026-04-27 22:32:13
魔术94-88赢活塞,东部第一倒下!8换1交易赚大了!骑士看到希望

魔术94-88赢活塞,东部第一倒下!8换1交易赚大了!骑士看到希望

毒舌NBA
2026-04-28 11:10:23
退休人员速查!1992年前干过这4类工作 每月多领一笔钱 别白吃亏

退休人员速查!1992年前干过这4类工作 每月多领一笔钱 别白吃亏

混沌录
2026-04-22 19:51:07
鲁梅尼格:穆勒很富不需要来拜仁工作赚钱,俱乐部工作很复杂

鲁梅尼格:穆勒很富不需要来拜仁工作赚钱,俱乐部工作很复杂

懂球帝
2026-04-28 09:12:18
女生要主动起来跟想象中完全不一样!网友:让我递毛巾 瞬间开窍了

女生要主动起来跟想象中完全不一样!网友:让我递毛巾 瞬间开窍了

另子维爱读史
2026-01-26 18:39:06
季后赛至今打出5位真巨头:带队能力极强!3位伪球星:硬仗就软!

季后赛至今打出5位真巨头:带队能力极强!3位伪球星:硬仗就软!

你的篮球频道
2026-04-27 15:26:00
2026-04-28 13:00:49
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1324文章数 204关注度
往期回顾 全部

科技要闻

10亿周活目标落空!传OpenAI爆发内部分歧

头条要闻

美伊代表在联合国相互指责 均反对对方担任大会副主席

头条要闻

美伊代表在联合国相互指责 均反对对方担任大会副主席

体育要闻

人类马拉松"破二"新纪元,一场跑鞋军备竞赛

娱乐要闻

杨幂险遭蒸汽眼罩毁容!伤照曝光…

财经要闻

俞敏洪再遭重击

汽车要闻

上汽大众“攻山头” ID.ERA 9X剑指细分前三

态度原创

手机
艺术
游戏
旅游
公开课

手机要闻

骁龙助力华硕发布三款AI PC:本地算力与续航表现成核心突破

艺术要闻

静·观--第二届全国静物油画作品展 作品选刊

《古剑》团队首曝盗墓新游!官网正式上线

旅游要闻

五一遛娃新去处!高唐国际营地萌宠乐园治愈上线

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版