网易首页 > 网易号 > 正文 申请入驻

真正的风险在于工作流安全而非模型安全

0
分享至


随着AI副驾驶和智能助手被嵌入到日常工作中,安全团队仍然专注于保护模型本身。但最近的事件表明,更大的风险在别处:围绕这些模型的工作流程。

最近发现两个伪装成AI助手的Chrome扩展程序从90多万用户那里窃取了ChatGPT和DeepSeek的聊天数据。另外,研究人员演示了隐藏在代码库中的提示注入如何欺骗IBM的AI编程助手在开发者机器上执行恶意软件。

这两种攻击都没有破坏AI算法本身。它们利用的是AI运行的环境。这是值得关注的模式。当AI系统被嵌入到真正的业务流程中,总结文档、起草邮件、从内部工具提取数据时,仅仅保护模型是不够的。工作流程本身成为了攻击目标。

为了理解这为什么重要,我们来看看AI今天是如何被实际使用的:

现在企业依靠AI来连接应用程序和自动化过去手动完成的任务。AI写作助手可能从SharePoint提取机密文档并在邮件草稿中总结。销售聊天机器人可能交叉引用内部CRM记录来回答客户问题。这些场景都模糊了应用程序之间的边界,动态创建了新的集成路径。

风险在于智能体的运作方式。它们依靠概率决策而不是硬编码规则,基于模式和上下文生成输出。精心编写的输入可以诱导AI做设计者从未想过的事情,AI会遵从,因为它没有原生的信任边界概念。

这意味着攻击面包括模型接触到的每一个输入、输出和集成点。

当攻击者可以简单地操纵模型看到的上下文或它使用的通道时,攻击模型代码就变得不必要了。前面描述的事件说明了这一点:隐藏在代码库中的提示注入在日常任务中劫持AI行为,而恶意扩展程序则从AI对话中窃取数据,完全不需要接触模型。

这些工作流威胁暴露了传统安全的盲点。大多数传统防御都是为确定性软件、稳定的用户角色和清晰的边界而构建的。AI驱动的工作流打破了这三个假设。

大多数通用应用程序区分可信代码和不可信输入。AI模型不会。对它们来说一切都只是文本,所以隐藏在PDF中的恶意指令与合法命令看起来没有区别。传统的输入验证没有帮助,因为有效载荷不是恶意代码,它只是自然语言。

传统监控捕获明显的异常,如大量下载或可疑登录。但作为例行查询一部分读取千条记录的AI看起来像正常的服务对服务流量。如果数据被总结并发送给攻击者,技术上没有违反任何规则。

大多数通用安全策略指定允许或阻止的内容:不让这个用户访问那个文件,阻止到这个服务器的流量。但AI行为取决于上下文。你如何编写一个说"永远不要在输出中泄露客户数据"的规则?

安全程序依赖定期审查和固定配置,如季度审计或防火墙规则。AI工作流不会保持静态。集成可能在更新后获得新功能或连接到新数据源。等到季度审查时,令牌可能已经泄露了。

因此,更好的方法是将整个工作流视为要保护的对象,而不仅仅是模型。

首先了解AI实际在哪里被使用,从Microsoft 365 Copilot等官方工具到员工可能自己安装的浏览器扩展程序。了解每个系统可以访问什么数据以及可以执行什么操作。许多组织惊讶地发现整个业务中运行着数十个影子AI服务。

如果AI助手只用于内部总结,就限制它发送外部邮件。在输出离开你的环境之前扫描敏感数据。这些护栏应该存在于模型本身之外,在检查动作的中间件中。

像对待任何其他用户或服务一样对待智能体。如果AI只需要对一个系统的读取访问权限,不要给它对所有东西的全面访问权限。将OAuth令牌限制在所需的最小权限,并监控异常情况,如AI突然访问以前从未接触过的数据。

最后,教育用户关于未经审查的浏览器扩展程序或从未知来源复制提示的风险也很有用。在部署第三方插件之前进行审查,并将任何接触AI输入或输出的工具视为安全边界的一部分。

在实践中,手动完成所有这些工作无法扩展。这就是为什么出现了新的工具类别:动态SaaS安全平台。这些平台充当AI驱动工作流之上的实时护栏层,学习正常行为的样子并在出现异常时标记。

Reco是一个领先的例子。

如上所示,该平台为安全团队提供了整个组织AI使用情况的可见性,显示正在使用哪些生成式AI应用程序以及它们如何连接。从那里,你可以在工作流级别实施护栏,实时捕获风险行为,并在不减慢业务速度的情况下保持控制。

申请演示:开始使用Reco。

Q&A

Q1:为什么传统安全防护在AI工作流中会失效?

A:传统安全防护是为确定性软件、稳定用户角色和清晰边界设计的,而AI工作流打破了这三个假设。AI模型无法区分可信代码和不可信输入,一切都只是文本;AI读取大量数据看起来像正常流量,难以被传统监控发现;AI行为依赖上下文,难以用固定规则管控。

Q2:AI工作流安全威胁主要来自哪里?

A:威胁主要来自工作流程本身而非模型算法。攻击者通过恶意浏览器扩展窃取AI对话数据,或在代码库中隐藏提示注入来劫持AI行为。由于AI依靠概率决策,精心编写的输入可以诱导AI执行设计者未预期的操作,攻击面包括模型接触的每个输入、输出和集成点。

Q3:如何建立有效的AI工作流安全防护?

A:需要将整个工作流视为保护对象。首先盘点所有AI使用情况,包括官方工具和影子AI服务;设置工作流级别的护栏,如限制AI的外部通信能力;采用最小权限原则管理AI访问权限;教育用户识别风险;部署动态SaaS安全平台作为实时护栏层。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么1.8米的床退出中国家庭?过来人说出实情,幸亏没选错!

为什么1.8米的床退出中国家庭?过来人说出实情,幸亏没选错!

家居设计师苏哥
2026-01-19 14:25:20
再见皇马!1.8亿巨星想走,却遭10亿豪门嫌弃,冲金球打脸佛爷

再见皇马!1.8亿巨星想走,却遭10亿豪门嫌弃,冲金球打脸佛爷

阿泰希特
2026-01-19 09:47:30
五角场合生汇、百联又一城、万达广场、凯旋北路环球港、茅台路金虹桥…… 记者实探外卖电瓶车占路,市民:商场可主动开辟停车区域 避免挤占公共空间

五角场合生汇、百联又一城、万达广场、凯旋北路环球港、茅台路金虹桥…… 记者实探外卖电瓶车占路,市民:商场可主动开辟停车区域 避免挤占公共空间

纵相新闻
2026-01-19 16:37:02
嫣然天使基金筹款暂停,因常规预算已筹满,工作人员:正沟通恢复捐款通道

嫣然天使基金筹款暂停,因常规预算已筹满,工作人员:正沟通恢复捐款通道

界面新闻
2026-01-19 19:37:04
明确了!C1能增驾D驾照,交警:满足1个条件,就能成功升级C1D

明确了!C1能增驾D驾照,交警:满足1个条件,就能成功升级C1D

电动车小辣椒
2026-01-12 07:04:53
夫妻性生活中的“小动作”技巧:让妻子“爽”到骨子里的四个秘诀

夫妻性生活中的“小动作”技巧:让妻子“爽”到骨子里的四个秘诀

精彩分享快乐
2025-12-04 13:26:44
冬窗0引援!曝利物浦憋大招:夏窗连签5人 斯洛特或将走人?

冬窗0引援!曝利物浦憋大招:夏窗连签5人 斯洛特或将走人?

球事百科吖
2026-01-20 03:32:58
摩洛哥足协:将就塞内加尔罢赛事件向FIFA和非洲足联投诉

摩洛哥足协:将就塞内加尔罢赛事件向FIFA和非洲足联投诉

懂球帝
2026-01-20 00:50:29
江苏省环保集团有限公司党委书记、董事长方斌斌被查

江苏省环保集团有限公司党委书记、董事长方斌斌被查

扬子晚报
2026-01-19 18:00:00
特朗普为何最后一刻叫停打击伊朗?海湾多国向美施压,连以色列都劝“刹一脚”

特朗普为何最后一刻叫停打击伊朗?海湾多国向美施压,连以色列都劝“刹一脚”

红星新闻
2026-01-16 13:32:27
今晚开始,又有8部年代剧将播,张嘉益、梅婷杨紫主演,值得期待

今晚开始,又有8部年代剧将播,张嘉益、梅婷杨紫主演,值得期待

秋姐居
2026-01-19 14:24:11
山西公布沧榆高速“8·23”较大道路交通事故调查报告

山西公布沧榆高速“8·23”较大道路交通事故调查报告

界面新闻
2026-01-19 19:09:21
上海交大走访8965名痴呆患者,医生发现:患痴呆的人,有6大共性

上海交大走访8965名痴呆患者,医生发现:患痴呆的人,有6大共性

王二哥老搞笑
2026-01-18 11:38:14
2026年新成语:恶意寻子!该警惕了,细节越挖越心寒!

2026年新成语:恶意寻子!该警惕了,细节越挖越心寒!

你食不食油饼
2026-01-11 06:41:42
美国专家:中国突破禁令的方式简单粗暴,日本将助中国科技腾飞

美国专家:中国突破禁令的方式简单粗暴,日本将助中国科技腾飞

趣生活
2025-12-30 19:55:03
花生再次被关注!调查发现:糖尿病常吃花生,不过半年或有6好处

花生再次被关注!调查发现:糖尿病常吃花生,不过半年或有6好处

蜉蝣说
2025-11-20 14:40:39
回来了!神舟二十号以无人状态返回,带回一套衣服

回来了!神舟二十号以无人状态返回,带回一套衣服

农民日报
2026-01-19 14:35:18
高一学生带手机被停课一个月,家长无奈“怎么罚都行,但停课太影响学业” 教育局:有一定合理性

高一学生带手机被停课一个月,家长无奈“怎么罚都行,但停课太影响学业” 教育局:有一定合理性

大风新闻
2026-01-19 20:24:27
央视记者赶赴深圳现场:“全国体量最大”的一座 “山”要被全量移走了!

央视记者赶赴深圳现场:“全国体量最大”的一座 “山”要被全量移走了!

深圳梦
2026-01-19 22:13:31
巴西大豆货轮靠泊江苏泰州码头,大豆中混入约10吨经农药处理小麦

巴西大豆货轮靠泊江苏泰州码头,大豆中混入约10吨经农药处理小麦

南权先生
2026-01-19 15:37:41
2026-01-20 05:04:49
至顶AI实验室 incentive-icons
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
1185文章数 155关注度
往期回顾 全部

科技要闻

这一仗必须赢!马斯克死磕芯片"9个月一更"

头条要闻

除吴孟达、梁小龙外 十多位周星驰电影中的配角已离世

头条要闻

除吴孟达、梁小龙外 十多位周星驰电影中的配角已离世

体育要闻

错失英超冠军奖牌,他却在德甲成为传奇

娱乐要闻

吴磊起诉白珊珊诽谤,白珊珊称被盗号

财经要闻

公章争夺 家族反目 双星为何从顶端跌落?

汽车要闻

徐军:冲击百万销量,零跑一直很清醒

态度原创

旅游
家居
艺术
教育
军事航空

旅游要闻

烟火漫数里,古集焕新生:郑州洧川大集藏着中原城乡融合的密码!

家居要闻

隽永之章 清雅无尘

艺术要闻

你绝对不知道,莫奈的杨树画作如此惊艳!

教育要闻

高考地理简答题万能模版

军事要闻

古美关系高度紧张 古巴启动"战争状态"

无障碍浏览 进入关怀版