网易首页 > 网易号 > 正文 申请入驻

中层不会消失,只是换成了Agent

0
分享至



这下,AI也得被盯着上班了。

10月19日,微软宣布给安全系统Project Perception增加一批“监工”,专门盯着企业里其他Agent干活。发现不对劲,就查明原因并收回权限,必要时直接叫停。



那让谁来当监工呢?微软安排了另一批AI来干这活。

企业让Agent干活,本来是想少操点心。但要让它替人干活,总得给它一些权限。比如帮忙审批报销,就得允许它查看单据、操作报销系统。万一它理解错了任务,或者被文件里夹带的恶意指令带偏,就可能会拿着公司给的权限闯祸。

所谓“有内鬼”,倒不一定是Agent存心使坏。有时它只是想把事情办好,却帮了倒忙,给公司惹出麻烦来。

01

怎么还得防着自己人

微软自己的办公AI助手Microsoft 365 Copilot,就曾在研究人员的测试中泄露敏感资料。

2025年,以色列安全公司Aim Security旗下的研究团队Aim Labs发现,可以把恶意指令藏进邮件,诱导Copilot泄露信息。他们编写了一封这样的邮件,等Copilot在回答用户问题、查找相关资料时读到它。



用户不用亲自打开邮件,也不用点击链接。在测试中,Copilot检索到这封邮件后,被里面的指令带偏,将正在处理的敏感信息传到了外部。

研究人员把这套攻击方法命名为EchoLeak,并向微软报告。幸好当时没有已知客户因这一漏洞遭遇泄密,泄露发生在研究人员的测试中。



这件事麻烦就麻烦在,公司允许Copilot读取邮件,是为了让它查资料。可邮件里既可能有工作内容,也可能有别人塞进来的指令。AI并不总能分清哪些是资料、哪些是在骗它做事。

能读写文件、调用工具的Agent,也会碰到同样的问题。它手里的权限越多,被骗之后能制造的麻烦就越大。

而且,Agent开工时正常,不代表整项任务都能顺利做完。前几份文件可能毫无问题,下一份就藏着恶意指令。只在启用时检查一次,管不到它后来的新遭遇新决策。

最关键的是人类在这方面确实有点心有余而力不足了。

靠安全人员逐条盯着,又很难跟得上。人还在查上一条警报,Agent可能已经接连执行了好几个操作。

微软于是准备让另一批Agent接手检查,Agent管Agent,总行了吧。

02

Agent也有顶头上司咯

微软给这批“监工”起名叫 Guardian Agents,放在安全系统 Project Perception 里。它们负责检查其他 Agent 的行为,发现异常后调查原因,再按企业事先定好的规则采取措施。

不过,要管住 Agent,不能等它出事了才动手。按微软公布的方案,企业首先要给执行任务的 Agent 单独建立身份,明确它归谁负责、能访问哪些资料、能做哪些操作。权限只给当前任务需要的部分,任务结束后收回。



这样,既能限制它接触的范围,出了问题也方便查清是谁做的。

Agent 开始干活后,系统还要继续观察它的行为。一旦发现异常,可以先收紧权限,比如禁止修改文件,但保留读取权限,让它继续完成风险较低的工作。有些操作可以要求人工批准。必要时,再隔离或停止 Agent。

可负责监督的也是Agent,判断错了怎么办?

纳德拉在10月10日的文章中提出,企业需要在AI之外,设置一套AI无法绕过或修改的权限规则。

按这个原则,如果企业规定某类资料不得外发,那么即使执行任务的Agent和负责监督它的AI都同意发送,系统也必须阻止。这类决定不能只靠AI自己判断。

在这次更新中,微软扩大了企业电脑安全软件Defender for Endpoint的识别范围,现在可以发现60种本地运行的AI Agent。

不过,查出员工用了哪些Agent,只是第一步。能否拦住它们的危险操作,还要看具体的Agent和电脑系统是否在防护功能的支持范围内。

即使支持防护,也需要企业主动开启拦截。Defender的Agent运行时防护启用后,可以选择“审计”或“阻止”模式。在“审计模式”下,发现恶意指令后只记录并发出警报,仍允许操作继续。切换到“阻止模式”后,才会执行拦截。

微软建议先用审计模式观察警报是否准确,排查误报后,再逐步开启阻止模式。

Project Perception目前仍处于面向少量受邀客户的预览阶段。

03

Agent监工这钱也让微软挣上了

最近几个月,AI越权干活的事情接连被公开。怎么管住这些越来越能干的家伙,成了厂商们绕不开的问题。

OpenAI在8月公布的一份调查中承认,7月,一些在减弱安全限制的条件下接受内部网络安全测试的模型,绕过了网络隔离,侵入公司内部的部分研究设施和AI平台Hugging Face的系统。这些操作超出了测试任务的授权范围。

10月9日,Anthropic又披露,Claude在一次网页操作测试中,给费城警方提交了一条编造的凶杀案线索。它本来只是在完成网页交互任务,却把示例内容真的发了出去。好在这条信息被判为垃圾信息,没有进入调查程序。

这些事件发生在测试中,却碰到了真实网站和系统。Anthropic因此宣布,在确认安全措施足够可靠前,暂停所有内部评测的实时联网。它还把内部Agent迁入集中管理、限制更严格的环境,并增加自动检测和拦截工具。

安全厂商也开始往Agent身边加人手、加关卡。

9月1日,CrowdStrike发布了Falcon Guardian,连名字里也带着“守护者”。按该公司的介绍,这套产品能发现企业Windows和Mac电脑上的Agent,追踪它们调用了什么工具、执行了什么操作,还能阻止未经批准的Agent运行。它强调的是直接在Agent干活的电脑上执行限制,让企业定下的规矩真正生效。

Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能:在Agent调用企业工具时,检查来回传递的内容,拦截夹带的恶意指令,遮蔽返回结果中的敏感数据,再按企业设定的权限决定能否继续操作。Agent想调用工具,得先过安全检查这一关。

这是一个趋势,也是一个商机,如今微软也想做这门生意。Perception按实际使用量收费,以“安全计算单位”(SCU)衡量消耗,安全Agent执行的任务越繁重,消耗通常越多。不过,官网公布的是整套系统的计费方式,没有单列新增这批“监工”的价格。

微软另一款管理Agent的产品Agent 365,独立订阅的标价是每用户每月15美元。它和Perception是不同产品,但两者会共享Agent名录和安全信息,配合企业管理和保护Agent。

让AI干活要花钱,把AI管住也要花钱,至于效果如何,只能等着看了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看了长征后的伟人照,再看《伟大的长征》,谁还在喷于和伟不像的,那就真是当代博古李德了

看了长征后的伟人照,再看《伟大的长征》,谁还在喷于和伟不像的,那就真是当代博古李德了

娱乐故事
2026-10-22 19:20:49
神木问界起火事件,让人们见识到了三个新名词

神木问界起火事件,让人们见识到了三个新名词

清书先生
2026-10-22 14:42:06
难以置信!一博主称晒车附车主信息发帖同城交友,一日收到13位女生私信,直言“5个质量不错”

难以置信!一博主称晒车附车主信息发帖同城交友,一日收到13位女生私信,直言“5个质量不错”

火山詩话
2026-10-22 07:35:45
美国:无人机去中国化成功!然后中国宣布零件禁运,没一个能交货

美国:无人机去中国化成功!然后中国宣布零件禁运,没一个能交货

观史搜寻着
2026-10-22 05:12:12
一个利空,引发全球“黑色星期四”

一个利空,引发全球“黑色星期四”

中国基金报
2026-10-22 16:04:54
大批美国游客从中国离开后,坦言:客观来说,中国比美国强多了

大批美国游客从中国离开后,坦言:客观来说,中国比美国强多了

浩渺青史
2026-10-22 14:48:21
江青机要秘书杨银禄晚年坦言:不管外界怎么说,有件事我一直感谢江青,做人讲求实在

江青机要秘书杨银禄晚年坦言:不管外界怎么说,有件事我一直感谢江青,做人讲求实在

磊子讲史
2026-10-22 16:54:01
脊柱断裂、前夫已死,63岁韦唯近况曝光,已然走上一条上坡路

脊柱断裂、前夫已死,63岁韦唯近况曝光,已然走上一条上坡路

林雁飞
2026-01-20 15:05:56
中期选举“大限将至”,特朗普急求俄罗斯:奉上乌克兰小命一条

中期选举“大限将至”,特朗普急求俄罗斯:奉上乌克兰小命一条

News脑洞
2026-10-22 17:09:16
旭日旗进境外课堂,陈宇昕家境曝光,南京方面如何回应?

旭日旗进境外课堂,陈宇昕家境曝光,南京方面如何回应?

平老师666
2026-10-21 21:14:14
刘嘉玲那时候一看就是大陆妹,和本地香港人还是有很大区别的

刘嘉玲那时候一看就是大陆妹,和本地香港人还是有很大区别的

西楼知趣杂谈
2026-10-21 11:32:28
KTV查严了,卖淫女盯上郊区充电站:车主充电二三十分钟,人走不了,车门一关就“办事”

KTV查严了,卖淫女盯上郊区充电站:车主充电二三十分钟,人走不了,车门一关就“办事”

一丝不苟的法律人
2026-10-22 09:36:04
女子在社交平台上收到陌生私信,对方称“有急事”,加完微信后只回复了一个字,账号就因遭大量恶意举报被封,对方扬言:打钱就放过你

女子在社交平台上收到陌生私信,对方称“有急事”,加完微信后只回复了一个字,账号就因遭大量恶意举报被封,对方扬言:打钱就放过你

扬子晚报
2026-10-22 12:50:48
亚太股市集体大跌,原因找到了

亚太股市集体大跌,原因找到了

凤凰网财经
2026-10-22 15:13:08
首秀就疯!45分7板6助,改写31年历史纪录,灰熊922万捡到宝

首秀就疯!45分7板6助,改写31年历史纪录,灰熊922万捡到宝

大西体育
2026-10-22 11:03:26
西藏那曲市巴青县发生7.0级地震,震源深度10千米

西藏那曲市巴青县发生7.0级地震,震源深度10千米

界面新闻
2026-10-22 22:46:34
17岁少年手持菜刀威胁28岁舅妈:“让我睡一次,不然死给你看!”

17岁少年手持菜刀威胁28岁舅妈:“让我睡一次,不然死给你看!”

四海神君
2026-10-21 12:00:04
关于社保这事,有网友看出了这样一个动向

关于社保这事,有网友看出了这样一个动向

清晖有墨
2026-10-22 12:40:30
东契奇28+8+7湖人击败勇士,凯斯勒12投全中比肩张伯伦库里23分

东契奇28+8+7湖人击败勇士,凯斯勒12投全中比肩张伯伦库里23分

湖人崛起
2026-10-22 12:41:23
宇树科技王兴兴:目前物理AI已经看到被击穿的苗头

宇树科技王兴兴:目前物理AI已经看到被击穿的苗头

财联社
2026-10-22 11:38:04
2026-10-22 23:51:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2867文章数 8098关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

遛狗时2岁儿子坠亡 父亲扔掉孩子部分遗物:看到就难受

头条要闻

遛狗时2岁儿子坠亡 父亲扔掉孩子部分遗物:看到就难受

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

教育
旅游
时尚
家居
手机

教育要闻

刘小惠名校长工作室开班!首批学员是这16名书记、校长——

旅游要闻

6.5米高塔菊首次亮相天坛,菊花班班长揭秘如何拿到全国金奖?

装绿茶钓权贵,她这么坏,却被全网爱惨了?

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

一加Ace 7 Pro官宣搭载第五代骁龙8至尊版,10月29日发布

无障碍浏览 进入关怀版