网易首页 > 网易号 > 正文 申请入驻

AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源

0
分享至


新智元报道


【新智元导读】AI写代码的风险隐藏在看似正确的代码中,可能引发数据泄露或资产损失。Narwhal AI Code Risks开源项目整理了真实案例、早期信号和典型风险路径,帮助开发者提前识别隐患,避免重蹈覆辙。

2026年,代码正以越来越快的速度生成,却以越来越少的审视被部署。

越来越多时候,用户的需求被放进对话框,AI读完上下文,补全函数,拉起依赖,改好配置,再顺手生成测试。

等回过神来,一段代码已经躺在仓库里,等待合并。

用户都已经形成了新的习惯,先让AI写出来跑起来,有问题再看哪里需要改。

但软件世界里,最危险的东西往往是看起来平平无奇的代码:语法正确,接口合法,测试通过,注释完美。

可它仍然可能引入不存在的包名,打开过宽的权限,暴露数据库......甚至让一个能直接调用系统工具的 Agent 在提示词注入下,把敏感数据带出内部系统。

真正危险的,不是报错红灯亮起。而是所有风险仪表都显示正常。

AI 写代码的风险,过去散落在各处:一篇安全博客藏着一个案例,一个 Issue 记着一段线索。等下一个团队遇到同类问题时,又需要从头拼凑风险来源、又要耗费大量时间精力对代码进行大规模实证测量。

而北京大学Narwhal-Lab刚刚开源的Narwhal AI Code Risks已经把信息碎片整理好,按照真实事件、早期信号和典型风险路径这三种类型归类,供研究者查看。


论文链接: https://github.com/Narwhal-Lab/Narwhal-aicode-risks

当28项检查全部通过

系统仍然偏航

第一条线索是一个已经合并的Pull Request,PR署名栏里赫然写着Claude Opus 4.6和Copilot,以及四位人类开发者。28项检查全部通过:没有人发现问题。

然后,清算机器人花了几分钟,拿走了价值1,778,044.83美元的抵押品。

配置文件里cbETH的价格被设成了和ETH的换算比例,约等于1.12美元,而不是实际接近2,200美元的价格。

一个价格语义错误就这样穿过了开发、检查和合并流程,最后在金融系统里变成了真实损失。这就是Moonwell cbETH预言机配置事故最刺眼的地方。

问题就出在代码中没有语法报错,人类开发者也没有立刻阻断异常的流程。相反,它看起来很完整,很顺利,这就是一次正常的工程交付。

但正是这种暗流涌动的正常,才让它成为安全事件的典型例子。


AI Coding的风险在于它并不总是以报错的方式出现。

很多时候,它披着正确答案的外衣,安静地进入工程流程。代码能跑,检查能过,PR能合并,但业务语义已经偏离了真实世界。

在低风险项目里,这种语义偏离可能只是一次返工;但在金融、企业数据系统等敏感场景中,它将直接泄露数据、暴露权限和损失资产。

当AI参与写代码、改配置、做review、甚至共同署名进入PR时,我们有没有足够把握知道每一次偏航是怎么发生的?

绿色通行信号

照不到所有角落

早期的AI帮你写代码,大多停留在局部补全。如果语法写错了,编译器会报错,单元测试会失败,CI流程会将其拒之门外。

今天的AI Coding走得更远而监管却迟迟却未跟上。

它能读文件,能改配置,能安装依赖,能生成基础设施脚本,也能通过Agent在多个任务之间自行规划。

AI不再只是坐在旁边递工具,它开始进入软件工程的更长链路。

软件工程里原本清晰的边界,被AI Agent重新连成了一条更长、更难溯源的路径。


分散的记录

需要一份公共航行日志

安全事件很少一开始就有完整结论。有些事件证据充分,可以作为真实案例进入目录;有些还停留在社区截图、研究员讨论或初步披露阶段,只适合继续观察;还有一些不绑定单一真实事件,却已经形成清晰模式,适合拿来做提前推演。

Narwhal AI Code Risks把材料分成三层:`cases/`、`inferred/` 和 `scenarios/`。

cases/记录已经有公开来源和证据链支撑的真实事件;inferred/保存还没有完全坐实、但值得持续追踪的早期信号;scenarios/整理暂不绑定单一事件、但风险路径足够清晰的典型场景。


如果没有这样的公共记录,AI Coding 的风险很容易变成互联网里的短期记忆。

今天大家记得某个包名,明天讨论某次数据暴露,过几个月又被新的工具热潮覆盖。等相似问题再次出现,团队仍像无头苍蝇撞进风险未知的航区。

Narwhal AI Code Risks做的,就是把这些零散风险片段固定下来,让后来的人可以翻到同一页。

沿着七类索引

看见风险的来路

AI写代码带来的问题,不只在代码里。它在依赖里,在权限里,在Agent的工具调用里,更在人类对AI输出的信任方式里。

Narwhal AI Code Risks目前把风险分成7类:供应链、代码级漏洞、云与基础设施配置、Agent风险、垂直领域风险、知识产权与合规风险,以及人为因素。


在供应链风险里 ,AI可能推荐不存在的依赖。代码级漏洞里,AI可能把路径遍历、输入校验缺失、鉴权问题重新写进业务代码。云与基础设施配置里,AI可能为了先把代码跑起来给出过宽的权限、公开的存储桶或暴露的端口。Agent风险则更复杂,不只是生成文本,而是开始执行动作。AI生成物正在给真实系统埋下隐患。

AI引擎在点火

而航行日志才刚刚翻开

当AI一步步走进真实世界,相关的风险防治不应该只停留在事后复盘或零散讨论中。

Narwhal AI Code Risks真正重要的地方,是把风险案例变成可以复用的知识。

开发者可以用它识别相似问题;安全研究人员可以把它作为样本库;工具厂商可以从中提取检测规则和评测基准;开源社区也可以继续补充新的案例、新的证据和新的风险类型。

AI 的引擎正在轰鸣,每一次偏航也都应该留下坐标。风险从来不会因为被忽视而消失,但经验可以被记录与传递。真正有价值的并非发现一次漏洞,而是让后来者不必再踏入同一个陷阱。

Narwhal AI Code Risks正在做的,就是为AI应用元年的软件世界,留下一份开源的航行日志。

参考资料:

https://github.com/Narwhal-Lab/Narwhal-aicode-risks

编辑:LRST

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
夺机副驾驶社交账号曾谈“杀犹太人”,被制服后还要求别人杀了自己

夺机副驾驶社交账号曾谈“杀犹太人”,被制服后还要求别人杀了自己

桂系007
2026-10-02 00:28:24
回国才敢说句心里话,在俄罗斯,对方知道你是中国人,态度全变了

回国才敢说句心里话,在俄罗斯,对方知道你是中国人,态度全变了

潘軮旅行浪子
2026-09-21 17:07:42
主力伤退临时换阵,中国女子接力为何慢0.35秒仍夺冠?

主力伤退临时换阵,中国女子接力为何慢0.35秒仍夺冠?

过期少女致幻录
2026-10-01 14:27:42
财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

吉刻新闻
2026-09-29 20:35:46
巴丹群岛38海里喊话没人理,菲律宾才发现:这次中国不是来抗议的

巴丹群岛38海里喊话没人理,菲律宾才发现:这次中国不是来抗议的

浯江孤舟
2026-09-30 10:04:37
曾潜水63小时救出12名少年,泰国洞穴救援英雄布朗不幸去世!

曾潜水63小时救出12名少年,泰国洞穴救援英雄布朗不幸去世!

麓谷隐士
2026-10-02 00:05:04
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
博通 1612 亿美元、谷歌 1111 亿美元、AWS 1100 亿美元、xAI 845 亿美元、微软 314 亿美元、AMD 200 亿美元

博通 1612 亿美元、谷歌 1111 亿美元、AWS 1100 亿美元、xAI 845 亿美元、微软 314 亿美元、AMD 200 亿美元

云头条
2026-10-02 09:19:57
哈尔滨姑娘远嫁南京带19车亲友撑场面,婆家只付一晚房费新娘退婚

哈尔滨姑娘远嫁南京带19车亲友撑场面,婆家只付一晚房费新娘退婚

四海神君
2026-09-28 13:00:07
演员万千惠相机在巴黎被偷,愿花2000美元赎回内存卡,中使馆回应

演员万千惠相机在巴黎被偷,愿花2000美元赎回内存卡,中使馆回应

青科新闻
2026-10-01 20:25:59
真的有人喜欢微胖吗?一个人的时候,常常会感到不自信

真的有人喜欢微胖吗?一个人的时候,常常会感到不自信

娱你同欢
2026-07-31 23:28:29
拾荒父亲供儿子上大学,儿子婚礼叫父亲上台,岳父听到竟直接跪下

拾荒父亲供儿子上大学,儿子婚礼叫父亲上台,岳父听到竟直接跪下

温情邮局
2025-03-01 15:08:36
为啥突破性技术总是最先发生在西方?网友:看看历史,中国也就落后了那100多年

为啥突破性技术总是最先发生在西方?网友:看看历史,中国也就落后了那100多年

带你感受人间冷暖
2026-09-30 00:17:02
江苏南通一校花太漂亮,身高172,五官精致到无懈可击

江苏南通一校花太漂亮,身高172,五官精致到无懈可击

辉哥说动漫
2026-10-01 05:11:22
北理工美女裴老师的故事

北理工美女裴老师的故事

阿亮评论
2026-09-30 12:03:54
斯诺克赛程:决出4强,3场冠军对抗,小特PK塞尔比,吴宜泽4连胜墨菲?

斯诺克赛程:决出4强,3场冠军对抗,小特PK塞尔比,吴宜泽4连胜墨菲?

刘姚尧的文字城堡
2026-10-02 08:03:43
真的很严重了!这5个行业,发工资都很困难了!

真的很严重了!这5个行业,发工资都很困难了!

职场资深秘书
2026-10-02 12:29:23
机长被副机长刺倒,飞机离坠毁只剩1分钟!乘客冲进驾驶舱,靠《空中浩劫》救下174人!

机长被副机长刺倒,飞机离坠毁只剩1分钟!乘客冲进驾驶舱,靠《空中浩劫》救下174人!

英国那些事儿
2026-10-01 22:45:38
吴敬中三次暗示余则成:我非雪山,识你峨眉峰却未揭穿!

吴敬中三次暗示余则成:我非雪山,识你峨眉峰却未揭穿!

雍亲王府
2026-09-30 13:45:13
洪晃聊纽约华人社交潜规则,陈凯歌陈丹青都被“薛忽悠”点名

洪晃聊纽约华人社交潜规则,陈凯歌陈丹青都被“薛忽悠”点名

手工制作阿歼
2026-10-01 15:31:28
2026-10-02 13:43:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16328文章数 67108关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

亲子
数码
教育
公开课
军事航空

亲子要闻

景区三个坑,一定要注意!

数码要闻

联想推出IdeaPad Slim 5 Ultra 11IWC11轻薄本,起始质量约1.06kg

教育要闻

这道题目他是不会做,但是家长也不一定能做得出来

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

胡塞武装:24小时内沙特空袭也门47次

无障碍浏览 进入关怀版