网易首页 > 网易号 > 正文 申请入驻

AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源

0
分享至


新智元报道


【新智元导读】AI写代码的风险隐藏在看似正确的代码中,可能引发数据泄露或资产损失。Narwhal AI Code Risks开源项目整理了真实案例、早期信号和典型风险路径,帮助开发者提前识别隐患,避免重蹈覆辙。

2026年,代码正以越来越快的速度生成,却以越来越少的审视被部署。

越来越多时候,用户的需求被放进对话框,AI读完上下文,补全函数,拉起依赖,改好配置,再顺手生成测试。

等回过神来,一段代码已经躺在仓库里,等待合并。

用户都已经形成了新的习惯,先让AI写出来跑起来,有问题再看哪里需要改。

但软件世界里,最危险的东西往往是看起来平平无奇的代码:语法正确,接口合法,测试通过,注释完美。

可它仍然可能引入不存在的包名,打开过宽的权限,暴露数据库......甚至让一个能直接调用系统工具的 Agent 在提示词注入下,把敏感数据带出内部系统。

真正危险的,不是报错红灯亮起。而是所有风险仪表都显示正常。

AI 写代码的风险,过去散落在各处:一篇安全博客藏着一个案例,一个 Issue 记着一段线索。等下一个团队遇到同类问题时,又需要从头拼凑风险来源、又要耗费大量时间精力对代码进行大规模实证测量。

而北京大学Narwhal-Lab刚刚开源的Narwhal AI Code Risks已经把信息碎片整理好,按照真实事件、早期信号和典型风险路径这三种类型归类,供研究者查看。


论文链接: https://github.com/Narwhal-Lab/Narwhal-aicode-risks

当28项检查全部通过

系统仍然偏航

第一条线索是一个已经合并的Pull Request,PR署名栏里赫然写着Claude Opus 4.6和Copilot,以及四位人类开发者。28项检查全部通过:没有人发现问题

然后,清算机器人花了几分钟,拿走了价值1,778,044.83美元的抵押品。

配置文件里cbETH的价格被设成了和ETH的换算比例,约等于1.12美元,而不是实际接近2,200美元的价格。

一个价格语义错误就这样穿过了开发、检查和合并流程,最后在金融系统里变成了真实损失。这就是Moonwell cbETH预言机配置事故最刺眼的地方。

问题就出在代码中没有语法报错,人类开发者也没有立刻阻断异常的流程。相反,它看起来很完整,很顺利,这就是一次正常的工程交付。

但正是这种暗流涌动的正常,才让它成为安全事件的典型例子。


AI Coding的风险在于它并不总是以报错的方式出现。

很多时候,它披着正确答案的外衣,安静地进入工程流程。代码能跑,检查能过,PR能合并,但业务语义已经偏离了真实世界。

在低风险项目里,这种语义偏离可能只是一次返工;但在金融、企业数据系统等敏感场景中,它将直接泄露数据、暴露权限和损失资产。

当AI参与写代码、改配置、做review、甚至共同署名进入PR时,我们有没有足够把握知道每一次偏航是怎么发生的?

绿色通行信号

照不到所有角落

早期的AI帮你写代码,大多停留在局部补全。如果语法写错了,编译器会报错,单元测试会失败,CI流程会将其拒之门外。

今天的AI Coding走得更远而监管却迟迟却未跟上。

它能读文件,能改配置,能安装依赖,能生成基础设施脚本,也能通过Agent在多个任务之间自行规划。

AI不再只是坐在旁边递工具,它开始进入软件工程的更长链路。

软件工程里原本清晰的边界,被AI Agent重新连成了一条更长、更难溯源的路径。


分散的记录

需要一份公共航行日志

安全事件很少一开始就有完整结论。有些事件证据充分,可以作为真实案例进入目录;有些还停留在社区截图、研究员讨论或初步披露阶段,只适合继续观察;还有一些不绑定单一真实事件,却已经形成清晰模式,适合拿来做提前推演。

Narwhal AI Code Risks把材料分成三层:`cases/`、`inferred/` 和 `scenarios/`

cases/记录已经有公开来源和证据链支撑的真实事件;inferred/保存还没有完全坐实、但值得持续追踪的早期信号;scenarios/整理暂不绑定单一事件、但风险路径足够清晰的典型场景。


如果没有这样的公共记录,AI Coding 的风险很容易变成互联网里的短期记忆。

今天大家记得某个包名,明天讨论某次数据暴露,过几个月又被新的工具热潮覆盖。等相似问题再次出现,团队仍像无头苍蝇撞进风险未知的航区。

Narwhal AI Code Risks做的,就是把这些零散风险片段固定下来,让后来的人可以翻到同一页。

沿着七类索引

看见风险的来路

AI写代码带来的问题,不只在代码里。它在依赖里,在权限里,在Agent的工具调用里,更在人类对AI输出的信任方式里。

Narwhal AI Code Risks目前把风险分成7类:供应链、代码级漏洞、云与基础设施配置、Agent风险、垂直领域风险、知识产权与合规风险,以及人为因素。


在供应链风险里 ,AI可能推荐不存在的依赖。代码级漏洞里,AI可能把路径遍历、输入校验缺失、鉴权问题重新写进业务代码。云与基础设施配置里,AI可能为了先把代码跑起来给出过宽的权限、公开的存储桶或暴露的端口。Agent风险则更复杂,不只是生成文本,而是开始执行动作。AI生成物正在给真实系统埋下隐患。

AI引擎在点火

而航行日志才刚刚翻开

当AI一步步走进真实世界,相关的风险防治不应该只停留在事后复盘或零散讨论中。

Narwhal AI Code Risks真正重要的地方,是把风险案例变成可以复用的知识

开发者可以用它识别相似问题;安全研究人员可以把它作为样本库;工具厂商可以从中提取检测规则和评测基准;开源社区也可以继续补充新的案例、新的证据和新的风险类型。

AI 的引擎正在轰鸣,每一次偏航也都应该留下坐标。风险从来不会因为被忽视而消失,但经验可以被记录与传递。真正有价值的并非发现一次漏洞,而是让后来者不必再踏入同一个陷阱。

Narwhal AI Code Risks正在做的,就是为AI应用元年的软件世界,留下一份开源的航行日志。

参考资料:

https://github.com/Narwhal-Lab/Narwhal-aicode-risks

编辑:LRST

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陪玩陪睡仅冰山一角!百亿富豪被曝在国外偷食,更恶心的还在后面

陪玩陪睡仅冰山一角!百亿富豪被曝在国外偷食,更恶心的还在后面

天天热点见闻
2026-08-11 13:05:04
乌克兰跨境攻入俄罗斯领土库尔斯克!消灭俄军装甲纵队

乌克兰跨境攻入俄罗斯领土库尔斯克!消灭俄军装甲纵队

项鹏飞
2026-08-11 20:13:04
为什么台湾是地球上最“易守难攻”的岛屿?

为什么台湾是地球上最“易守难攻”的岛屿?

野书文
2026-08-11 20:48:08
被烧了164年的圆明园,地下忽然传出动静,专家:我们被骗惨了

被烧了164年的圆明园,地下忽然传出动静,专家:我们被骗惨了

道远文史
2026-08-12 06:59:17
乌克兰一军官称前线补给危机请求撤军:有士兵12天没吃没喝只能喝尿为生,还有人因缺水少食昏迷好几天

乌克兰一军官称前线补给危机请求撤军:有士兵12天没吃没喝只能喝尿为生,还有人因缺水少食昏迷好几天

极目新闻
2026-08-12 11:23:21
华裔加密货币投资者离奇坠亡:遗体全裸盖黑色塑料袋,豪华公寓内一片狼藉

华裔加密货币投资者离奇坠亡:遗体全裸盖黑色塑料袋,豪华公寓内一片狼藉

红星新闻
2026-08-12 11:54:01
复旦王水牛的瓜,尺度太炸了

复旦王水牛的瓜,尺度太炸了

大张的自留地
2026-08-11 15:15:21
年纪大了,行房要坚持“3不要”,尤其是最后1个,可能伤身!

年纪大了,行房要坚持“3不要”,尤其是最后1个,可能伤身!

小胡军事爱好
2026-08-12 08:58:13
加入CPTPP已做好充分准备:问题是何时推开这扇门?

加入CPTPP已做好充分准备:问题是何时推开这扇门?

生命可以承受之轻
2026-08-12 06:22:13
民谚说:“立秋吃三根,腿脚站得稳”,不是红薯土豆,是这3样

民谚说:“立秋吃三根,腿脚站得稳”,不是红薯土豆,是这3样

阿龙美食记
2026-08-09 16:11:17
金球奖7大候选人出炉!最新获奖概率:凯恩57%,亚马尔17%,梅西2%

金球奖7大候选人出炉!最新获奖概率:凯恩57%,亚马尔17%,梅西2%

球场没跑道
2026-08-11 11:41:24
为啥说幼师是知道秘密最多的职业?网友:所以从来不敢让孩子看见,太社死了

为啥说幼师是知道秘密最多的职业?网友:所以从来不敢让孩子看见,太社死了

带你感受人间冷暖
2026-08-12 00:05:13
山西女大学生称遭陌生男子尾随偷拍,发现对方手机里存有40000多张照片和6000多个视频,“一整页全是女性的腿”

山西女大学生称遭陌生男子尾随偷拍,发现对方手机里存有40000多张照片和6000多个视频,“一整页全是女性的腿”

大风新闻
2026-08-12 11:01:24
“卫诗雅百花奖获最佳女主后孤独下台”引热议,本人回应:现场认识的人不多,也就梁家辉和朱一龙,并不是孤单;原本担心获零票会很尴尬

“卫诗雅百花奖获最佳女主后孤独下台”引热议,本人回应:现场认识的人不多,也就梁家辉和朱一龙,并不是孤单;原本担心获零票会很尴尬

极目新闻
2026-08-12 11:29:12
汪峰把公司1100人砍到400人,700人被裁。他说:“引入AI两个月,剩下400人干得比原来还好”,财务笑开了花。

汪峰把公司1100人砍到400人,700人被裁。他说:“引入AI两个月,剩下400人干得比原来还好”,财务笑开了花。

背包旅行
2026-08-11 11:40:42
大暴雨、特大暴雨!这些地方注意了→

大暴雨、特大暴雨!这些地方注意了→

环球网资讯
2026-08-12 09:50:59
中央气象台8月12日06时继续发布暴雨橙色预警

中央气象台8月12日06时继续发布暴雨橙色预警

环球网资讯
2026-08-12 07:32:07
紫牛热点︱“我听交警的”事件最新进展!代理律师发文:一审判决涉事女子道歉并赔偿

紫牛热点︱“我听交警的”事件最新进展!代理律师发文:一审判决涉事女子道歉并赔偿

扬子晚报
2026-08-11 22:10:32
4个月融进1亿美元、建齐3座「数据发电厂」,这家TechBio要造一个生物世界模型

4个月融进1亿美元、建齐3座「数据发电厂」,这家TechBio要造一个生物世界模型

机器之心Pro
2026-08-11 15:25:07
伊朗最高领袖连夜签了6张任命状:71岁老将一人身兼两个关键职位,他前面两任全死于空袭

伊朗最高领袖连夜签了6张任命状:71岁老将一人身兼两个关键职位,他前面两任全死于空袭

网易新闻出品
2026-08-11 18:56:48
2026-08-12 13:15:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15922文章数 66998关注度
往期回顾 全部

科技要闻

Claude又出骚操作 改个错字也要留AI水印?

头条要闻

高考444分考生被殡葬专业录取:出生于4月4日清明节

头条要闻

高考444分考生被殡葬专业录取:出生于4月4日清明节

体育要闻

乔丹鲨鱼们的合同:1996,史上最伟大夏天

娱乐要闻

陈思诚恋情疑云再起

财经要闻

李嘉诚,再一次大撤退!他嗅到了什么?

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

房产
家居
数码
手机
公开课

房产要闻

突发,崖州湾又有大动作!

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

132元!小米蓝牙音箱磁吸版发布:音箱+手机支架二合一 支持苹果MagSafe

手机要闻

iOS 27 Beta 5调整液态玻璃滑块,苹果提升最高透明度档位效果

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版