网易首页 > 网易号 > 正文 申请入驻

给AI智能体放权之前,先想清楚它被允许做什么?

0
分享至

一个编码智能体可以在几分钟内改完一个已有代码库里的函数,但真正难回答的问题不是它改得快不快,而是它被允许做什么、我们凭什么相信这次改动是可靠的。InfoQ 在 2026 年 10 月推出两个为期五周的线上认证学习小组,一个盯 AI 安全与隐私工程,一个盯 AI 辅助工程,恰好都落在同一个困惑上:当智能体开始动真实代码、碰真实数据,检查该放在哪一步。

两个小组,两种检查


AI 安全与隐私工程小组从 10 月 26 日开始。参与者带着一个手头正在做的工作问题进来,追踪敏感信息从哪一步进入 AI 工作流,又可能流向哪里。他们用威胁建模和红队演练审视架构,然后测试控制措施,并考虑系统必须让哪些失败变得可见。

AI 辅助工程小组从 10 月 19 日开始,参与者在一个共享的遗留代码库上动手。他们为智能体构建上下文、限制它的权限、加入测试和传感器,把生成和审查分开,再把检查搬进持续集成。两个小组都给有经验的从业者留出时间,在引导者和来自其他组织的同行陪伴下把这些方法用起来。

这两个小组的结业项目都不是写一份报告了事。安全组的任务是评估一个 AI 产品架构,并说清楚识别出的风险、选定的控制措施、这些控制措施将如何被测试,以及谁为这些决定负责。辅助工程组则要交出他们搭出来的那套约束装置,还要提交一条从反复出现的审查发现里提炼出的规则或智能体技能,并把五周的记录结果和最初的预测做对比。

跟着数据和决定走完整条链路

安全小组由 Katharine Jarmul 引导。她是《Practical Data Privacy》的作者,工作聚焦机器学习和 AI 系统中的隐私与安全,曾在 InfoQ Dev Summit Munich 2025 做开场主题演讲,也在 QCon 上做过分享。

她描述这套方法时说:“一次 AI 安全审查必须跟着数据和决定走完整条链路。在小组里,我们会梳理敏感信息可能流向哪里,测试我们选定的控制措施,并明确谁为剩下的风险负责。”

这句话里有一个容易被跳过的动作:明确谁为剩下的风险负责。控制措施不可能消灭所有风险,剩下的那部分总得有人认领。安全组的结业项目把这一点写进了交付要求里。

先限制权限,再谈检查

辅助工程小组由 Zichuan Xiong 和 Premanand Chandrasekaran 共同引导。Zichuan Xiong 是 Thoughtworks 的 AIOps 负责人,自 2008 年起主导架构和交付工作,现在为软件运营构建智能体系统,他还在 QCon 旧金山站共同引导小组和约束装置工程培训环节。

他把工程问题说得很直接:“一个编码智能体可以很快做出改动,但更难的问题是它被允许做什么,以及我们怎么知道这次改动是可靠的。我们会先构建上下文、限制权限,然后再给在已有代码库里工作的智能体套上检查。”

顺序值得留意:上下文和权限在前,检查在后。不是先让智能体跑起来再补护栏,而是在它动手之前就把能做什么、不能做什么划出来。

他的共同引导者 Premanand Chandrasekaran 是 Thoughtworks 的技术负责人,二十年时间带工程团队,专注持续交付和内部质量。他讲的是检查怎么变成工作流的一部分:“逐条人工审查智能体的每一次改动,并不能告诉我们哪些检查应该成为工程工作流的一部分。我们会让独立审查和持续集成检查发挥作用,然后把五周的结果和我们一开始的预期做对比。”

人工审查每一次改动,问题不在于累,而在于它不产出可复用的判断。哪些检查值得固化进流程,得靠独立审查和持续集成跑出来的结果说话。

五周之后拿什么对照

两个小组都设置了保密的同行小组,让参与者和处在不同约束条件下的资深工程师比较各自的选择。比如追问一项控制措施是否真的针对了它被选来处理的那个风险,或者展示约束装置抓住了什么、记录下来的结果是否支持最初的预测。

把五周的记录结果和开课时的预测放在一起对照,这个动作本身就把“我觉得这样能行”变成了可检验的东西。预测错了,说明对智能体行为的判断有偏差;预测对了,那套检查才有资格进入日常工作流。

两个小组的完整教学大纲和学习细节,在 AI 安全与隐私工程、AI 辅助工程的页面上可以查到。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
听说连沪爷们也没钱了,开始不爱买东西了

听说连沪爷们也没钱了,开始不爱买东西了

News脑洞
2026-09-30 17:39:51
张帅2-0战胜普丁塞娃,晋级亚运会网球女单决赛

张帅2-0战胜普丁塞娃,晋级亚运会网球女单决赛

懂球帝
2026-10-01 11:55:05
C罗大姐转发:葡萄牙不配拥有最好的人才,活该回到C罗前的平庸

C罗大姐转发:葡萄牙不配拥有最好的人才,活该回到C罗前的平庸

懂球帝
2026-10-01 04:18:07
突发:新西兰受训机长,万米高空被副驾刺伤!浑身是血仍打开舱门,救下174人

突发:新西兰受训机长,万米高空被副驾刺伤!浑身是血仍打开舱门,救下174人

发现新西兰
2026-10-01 08:03:31
曝C罗或被罚款+禁赛半年!连续3天缺席训练 擅自离开国家队集训营

曝C罗或被罚款+禁赛半年!连续3天缺席训练 擅自离开国家队集训营

我爱英超
2026-10-01 06:45:14
特斯拉新 Model 3 突然发布,加量不加价!

特斯拉新 Model 3 突然发布,加量不加价!

花果科技
2026-10-01 10:26:34
华为Mate 90 Pro Max 狂野升级,科技界炸了锅!

华为Mate 90 Pro Max 狂野升级,科技界炸了锅!

科技堡垒
2026-10-01 09:20:06
4-0横扫!世界第2大获全胜,梅西接班人诞生:22岁天才传射建功

4-0横扫!世界第2大获全胜,梅西接班人诞生:22岁天才传射建功

足球狗说
2026-10-01 09:55:37
气炸了!上海一面馆贴满硬核告示火了,写明“谢绝本地中年妇女点单”

气炸了!上海一面馆贴满硬核告示火了,写明“谢绝本地中年妇女点单”

火山詩话
2026-09-30 09:29:15
奚梦瑶戴了22个龙凤镯,价值百万,全身金灿灿,都是婆婆四太送的

奚梦瑶戴了22个龙凤镯,价值百万,全身金灿灿,都是婆婆四太送的

手工制作阿歼
2026-10-01 09:17:57
姑娘们散了,杭州为什么忽然容不下商K了?

姑娘们散了,杭州为什么忽然容不下商K了?

热辣茉莉说
2026-09-30 14:25:26
噩耗接连传来!刘欢刚走没几日,63岁水均益近况曝光令人心生担忧

噩耗接连传来!刘欢刚走没几日,63岁水均益近况曝光令人心生担忧

生命之泉的奥秘
2026-09-29 01:11:59
球报:热苏斯的言论激怒了C罗,他突然离开的决定让队友震惊

球报:热苏斯的言论激怒了C罗,他突然离开的决定让队友震惊

懂球帝
2026-10-01 03:15:21
30胜0负!6冠王德约时隔11年重返中网2-0开门红 下轮战布云朝克特

30胜0负!6冠王德约时隔11年重返中网2-0开门红 下轮战布云朝克特

醉卧浮生
2026-09-30 21:01:39
“一夜之间,客户和房东都坐不住了!”150万成了楼市“黄金线”?挂牌一年半的房东问:要不要降到149万?

“一夜之间,客户和房东都坐不住了!”150万成了楼市“黄金线”?挂牌一年半的房东问:要不要降到149万?

都市快报橙柿互动
2026-10-01 00:30:25
今早,深中通道分流管控!有人凌晨出发,堵了40分钟还没上桥,网友:一小时走了500米;交警紧急提醒

今早,深中通道分流管控!有人凌晨出发,堵了40分钟还没上桥,网友:一小时走了500米;交警紧急提醒

南方都市报
2026-10-01 11:14:46
目不识丁,出尽洋相?于和伟在金鹰奖上的发言,给内娱明星上了一课

目不识丁,出尽洋相?于和伟在金鹰奖上的发言,给内娱明星上了一课

乡野小珥
2026-10-01 00:01:04
快讯!亚足联彻底捂不住了!

快讯!亚足联彻底捂不住了!

故事终将光明磊落
2026-10-01 08:56:51
最新反转!让空姐跪下道歉的男子彻底“社死”,东航的态度很明确

最新反转!让空姐跪下道歉的男子彻底“社死”,东航的态度很明确

史之韵
2026-10-01 10:58:06
刘某给3名好友每人每天500元,8天狂偷13吨共享单车卖废铁,最后分文未赚、亏本倒贴,西安警方:4人因涉嫌盗窃罪,已被采取刑事强制措施

刘某给3名好友每人每天500元,8天狂偷13吨共享单车卖废铁,最后分文未赚、亏本倒贴,西安警方:4人因涉嫌盗窃罪,已被采取刑事强制措施

荔枝新闻
2026-09-30 16:11:51
2026-10-01 12:51:00
硅屿手记
硅屿手记
有态度网友ytd
210文章数 79关注度
往期回顾 全部

科技要闻

华为Mate90系列发布,售价5999元起

头条要闻

媒体:日本可能举办了"史上最差亚运会" 槽点实在太多

头条要闻

媒体:日本可能举办了"史上最差亚运会" 槽点实在太多

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

宋佳二封金鹰视后 内娱奖项史即将改写

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

本地
时尚
手机
旅游
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

裤子不用买太多花哨的类型,日常多穿牛仔裤,大方减龄又不出错

手机要闻

华为Mate 90 RS非凡大师发布:麒麟9050 Pro+双层OLED 12999元起

旅游要闻

平安过节|警惕“野生”网红景点、谨慎参与高风险项目……这份出游避坑指南请收好!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版