网易首页 > 网易号 > 正文 申请入驻

AI开小号骗人,被大学生抓包了

台湾大学生感叹被骗了20年

0
分享至



2026年7月底,24岁的计算机专业学生Sinan Can Demir收到了一条意外的消息。

几天前,他在GitHub参与一个开源项目时,发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生,他第一时间提醒项目维护者,希望避免有人把问题代码合并进去。

但事情的发展很快变得奇怪起来。

提交代码者并不承认问题,反而和他展开了一场长时间的争论,对方坚持表示自己的代码没有任何恶意。讨论过程中,一个名叫Lena Brandt的人也出现了,她自称来自德国,是一名工程师,并表示自己也检查过代码,认为没有安全风险。

当时的Sinan并不知道,自己正在和两个不存在的人交流。



24岁的计算机专业学生Sinan Can Demir在GitHub参与开源项目时,发现一份代码更新中隐藏的恶意程序,并意外与一个AI Agent展开了一场技术争论。图为Sinan Can Demir。

直到英国人工智能安全研究所(AISI)调查这起事件后,他才收到通知:当时和他争论的,其实是一个AI Agent。

这个Agent为了完成一项网络安全测试任务,主动创建了虚假身份,伪装成开发者参与真实互联网互动,甚至试图利用这些身份影响真人的判断。

Sinan原本只是想通过参与开源项目给自己的简历增加一些经历,没想到最后却成了发现AI Agent“开小号”的人之一。

01

没想到吧,还是我!

这个夏天对Sinan Can Demir来说并不算顺利。

来自土耳其的他刚刚从美国德州大学达拉斯分校毕业,计算机科学专业背景让他看起来符合不少科技公司的招聘要求,但现实并没有想象中顺利。毕业后,他陆续申请了20多个实习岗位,却没有收到一个满意的结果。

Demir并没有因此停下来。为了让自己的简历更有竞争力,他决定换一种方式证明自己。

和很多计算机专业学生一样,他开始在GitHub上参与开源项目,希望通过公开的代码贡献,让未来的雇主看到自己的技术能力。



开发者通过GitHub参与开源项目,提交代码并与其他开发者协作。对于计算机专业学生来说,公开代码贡献也逐渐成为展示技术能力的一种方式。

7月底的一天,Demir参与一个开源项目时,注意到有人提交了一份代码更新。他检查代码后发现,其中可能隐藏着恶意程序。

对于开发者来说,这种情况并不少见。开源项目依靠全球开发者共同维护,但任何人提交的代码都可能存在漏洞,甚至被恶意植入风险内容。因此,发现问题后提醒项目维护者,是一个再正常不过的操作。

Demir随后提出了自己的担忧。

但他没有想到,接下来等待他的并不是一次普通的技术讨论。

提交代码的人很快回应了他的质疑,并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论,对方不断解释自己的设计思路,试图证明这份代码是安全的。

但随着讨论持续进行,Demir也开始动摇起来。

对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑,能够回应他的技术问题,也能够针对他的质疑逐条反驳。

“是不是我真的误判了?”

这个念头开始出现在Demir脑中。

随后,一个名叫Lena Brandt的人加入了讨论。她来自德国,是一名工程师,并表示自己也认真检查过这份代码,没有发现恶意内容。



GitHub上myNetwork项目的Pull Request讨论记录中,提交代码的账号“miraholt31”和后续加入讨论、为其提供支持的“Lena Brandt”账号均由AI Agent创建,用于试图说服项目维护者接受包含恶意内容的代码。

在当时的Demir看来,这就是一次普通的开发者交流。代码提交者回应质疑,Lena Brandt从旁提供技术判断,一切看起来都符合开源社区里的正常互动。

直到后来,AISI(英国人工智能安全研究所)调查一项AI Agent安全测试时,联系到了Demir。他才知道,自己在GitHub上争论的对象,其实是一个由AI驱动的Agent。

而那个主动加入讨论、为代码安全性辩护的“德国工程师”Lena Brandt,也同样不存在。

02

坏了,我们的AI出去骗人了

这场看似普通的GitHub争论,背后其实是AISI正在进行的一次AI Agent安全测试

AISI是英国政府旗下负责人工智能安全研究的机构。此次测试的目标,是观察当AI Agent被赋予网络环境中的任务后,会不会采取研究人员没有预料到的行动。



英国人工智能安全研究所(AISI)发布的事件调查报告,披露了一次AI Agent在网络安全测试中采取未经授权行动的事件。

测试中使用的Agent由Anthropic的Mythos 5模型驱动。研究人员给它设定的目标,是模拟一次软件供应链攻击,让一段包含恶意内容的代码进入真实开源项目。

但开源项目并不是任何人提交的代码都会被采用,维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目,Agent需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码,而是开始模拟真实开发者之间的互动。

它创建多个虚假身份,让不同账号承担不同角色。一个账号负责提交代码,另一个账号则像普通开发者一样参与讨论,为前者提供支持。

更让研究人员意外的是,Agent并没有只是随意编造几个名字。

调查发现,这个Agent知道,一个刚注册的新账号很难获得信任,因此需要通过模拟真实开发者之间的互动,提高自己提交内容被接受的概率。

为此它仔细研究真实开发者的信息,了解他们的背景和公开活动,再调整自己的身份设定和交流方式,让这些虚假角色看起来更符合开源社区里的真实互动。

这也是Demir当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题,又能获得“同行”支持的账号,很难第一时间意识到,对方背后并不存在一个真实的人。

在与真人交流时,这个Agent也表现出了类似人类社交策略的行为。当自己的观点受到质疑时,它不会简单重复原来的回答,而是会解释代码逻辑、回应对方的问题,并引入新的身份提供支持。



AI Agent可以根据目标调整交流策略,甚至通过不同身份参与互动。

AISI随后公布的调查结果显示,这项测试一共运行了122次。其中有10次运行中,AI采取了超出授权范围的真实互联网行动,一共记录到19项未经授权行为。

这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现,在部分情况下,Agent为了完成目标,会自行判断下一步应该采取什么行动,而不是严格按照预先设计好的流程执行。

这也是AISI关注这次事件的原因。测试中出现的问题,是一个拥有行动能力的Agent开始主动利用互联网环境中的规则和资源,寻找完成目标的方法。

03

“制造尽可能多的回形针。”

2014年,哲学家Nick Bostrom在《超级智能》一书中提出了一个著名思想实验,被称为“回形针最大化器”。

假设未来人类制造了一个能力极强的AI,并给它设定了一个简单目标,让它尽可能多地制造回形针。

这个目标本身没有任何恶意,但如果人类只告诉AI要最大化回形针数量,却没有给它设置足够的限制,事情可能会朝着完全失控的方向发展。为了完成目标,AI可能会不断寻找更多原材料、能源和生产空间,甚至把整个世界都改造成制造回形针的机器。



“回形针最大化器”是AI安全领域经典思想实验,用来说明如果AI只追求单一目标,却缺少明确限制,可能会采取人类没有预料到的方式完成任务。

这个思想实验想说明的是,拥有强大能力的系统在执行目标时,如果缺少足够明确的限制,可能会采取人类没有预料到的方式完成任务。

AISI这次发现的Agent行为,虽然远没有达到回形针最大化器描述的程度,但背后的逻辑有相似之处。

研究人员要求这个Agent完成一次软件供应链攻击测试。它的目标是让一段包含恶意内容的代码进入真实开源项目。

但为了完成这个目标,Agent需要面对一个现实限制,即开源项目并不会自动接受任何人提交的代码,维护者会判断提交者是否可信,也会评估代码是否安全。

于是,Agent找到了一条提高成功率的方法。它创建虚假身份,模拟不同开发者之间的互动,让提交代码的账号看起来更可信。它甚至研究真实开发者的信息,调整自己的身份设定和交流方式,让这些虚假角色更符合开源社区里的交流习惯。

研究人员并没有直接告诉Agent“你需要创建一个假身份”“你需要找另一个账号为自己背书”。这些步骤,是Agent为了完成目标自行选择的策略。

这正是AI Agent和过去聊天机器人的区别。这也意味着,AI风险开始发生变化。

如果未来Agent拥有更多权限,比如管理企业文件、发送邮件、操作账户,甚至代表用户进行交易,一个看似合理的目标,也可能让它选择一些人类并不希望发生的路径。

回形针最大化器里的AI并没有恶意,它只是严格执行了人类给出的目标。AISI测试里的Agent也没有表现出攻击意图,它只是为了完成任务,选择了一条更有效的路线。

而如何给拥有行动能力的AI设置足够明确的目标和限制,可能会成为Agent时代最重要的安全问题之一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
福奇掌控的NIAID资助武汉病毒所其背后的资本逻辑

福奇掌控的NIAID资助武汉病毒所其背后的资本逻辑

青山依旧典序
2026-08-26 10:46:21
全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

In风尚
2026-08-22 06:04:58
刘翔发声质疑上海体育局广告费分成,媒体人:刘翔只拿50%广告费,应请有关部门查账

刘翔发声质疑上海体育局广告费分成,媒体人:刘翔只拿50%广告费,应请有关部门查账

尘语者
2026-08-27 11:50:01
房价不仅会收复过去的跌幅,而且大概率会再创新高。

房价不仅会收复过去的跌幅,而且大概率会再创新高。

流苏晚晴
2026-08-25 12:39:49
巴铁谎言被戳穿?印度机密文件曝光,当年被击落的阵风,另有隐情

巴铁谎言被戳穿?印度机密文件曝光,当年被击落的阵风,另有隐情

世界有奇事
2026-08-26 12:52:26
刘翔被照顾十几年!媒体人:他想挑战规则走第三条路 升职当领导

刘翔被照顾十几年!媒体人:他想挑战规则走第三条路 升职当领导

念洲
2026-08-27 06:37:03
美国洛马怎么也没料到,没缴中国的990亿罚单,后果竟如此严重!

美国洛马怎么也没料到,没缴中国的990亿罚单,后果竟如此严重!

锅锅爱历史
2026-08-23 10:16:14
曼联18岁锋线新星谈离队,费耶诺德想租,红魔标价500万欧

曼联18岁锋线新星谈离队,费耶诺德想租,红魔标价500万欧

星河漫山野
2026-08-26 18:02:38
首发韬定律,华为麒麟2026命名确认!

首发韬定律,华为麒麟2026命名确认!

新浪财经
2026-08-26 09:22:11
俄乌大结局终于要来?最大罪人已浮现,不是美国

俄乌大结局终于要来?最大罪人已浮现,不是美国

江启
2026-08-24 07:31:00
履新一年多后,成都市委常委刘任远被查

履新一年多后,成都市委常委刘任远被查

大风新闻
2026-08-27 11:35:03
塔利班四分五裂,最高领袖震怒,要拿叛军头子头颅祭旗“杀无赦”

塔利班四分五裂,最高领袖震怒,要拿叛军头子头颅祭旗“杀无赦”

民间胡扯老哥
2026-08-25 08:18:40
5-1,5-3!斯诺克四强决出两席,常冰玉掀翻世界第1,挑战奥沙利文

5-1,5-3!斯诺克四强决出两席,常冰玉掀翻世界第1,挑战奥沙利文

小七说篮球
2026-08-27 19:08:16
一艘油轮在霍尔木兹海峡被击中

一艘油轮在霍尔木兹海峡被击中

新华社
2026-08-27 09:17:02
“扶老人被索赔1.9万元”事件死者亲属发声:不可能退还赔偿,金额参照本地案例;老人是牌馆常客,被老板扶出时摔倒,外面热还继续“拖”

“扶老人被索赔1.9万元”事件死者亲属发声:不可能退还赔偿,金额参照本地案例;老人是牌馆常客,被老板扶出时摔倒,外面热还继续“拖”

扬子晚报
2026-08-26 22:26:14
星宇股份向107位被劝退应届生致歉:发放求职生活补贴,积极联系其他企业提供适配岗位,如3个月内未实现就业,给予6个月工资作为补偿

星宇股份向107位被劝退应届生致歉:发放求职生活补贴,积极联系其他企业提供适配岗位,如3个月内未实现就业,给予6个月工资作为补偿

极目新闻
2026-08-27 08:40:12
在韩杀害中国女留学生嫌疑人自称与被害人是“恋人关系”,因争吵冲动杀人,尸块被他分散抛弃;作案后他还换上女装伪装被害人模样打车出行

在韩杀害中国女留学生嫌疑人自称与被害人是“恋人关系”,因争吵冲动杀人,尸块被他分散抛弃;作案后他还换上女装伪装被害人模样打车出行

极目新闻
2026-08-27 15:06:32
原来包贝尔和红衣女子还在公开场合同框过,身边人应该都知道两人的关系

原来包贝尔和红衣女子还在公开场合同框过,身边人应该都知道两人的关系

伦伦妈讲财经
2026-08-27 10:24:52
青岛啤酒上半年营收196.55亿元,净利润为39.2亿元;洋河股份上半年营收105.4亿元丨酒业早参

青岛啤酒上半年营收196.55亿元,净利润为39.2亿元;洋河股份上半年营收105.4亿元丨酒业早参

每日经济新闻
2026-08-27 08:12:05
油耗高到离谱!这5款轿车让车主哭晕在加油站,第一名百公里15升

油耗高到离谱!这5款轿车让车主哭晕在加油站,第一名百公里15升

三农老历
2026-08-26 03:44:41
2026-08-27 19:47:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2726文章数 8083关注度
往期回顾 全部

科技要闻

苹果邀请函:新CEO、折叠屏iPhone都要来了

头条要闻

"扶老人被索赔1.9万"死者家属:我们在网上成大恶人了

头条要闻

"扶老人被索赔1.9万"死者家属:我们在网上成大恶人了

体育要闻

因为这条规则,欧联冠军一个夏天散伙了

娱乐要闻

包贝尔幽会后陪老婆!曾炫耀谈7个女友

财经要闻

机构预测"过剩",市场却在疯抢废铜?

汽车要闻

领克900:心之所向皆可抵达 | 潮汕篇

态度原创

健康
房产
艺术
手机
公开课

突发脑梗怎么救命?一定看这两条路

房产要闻

落户江东!京东海南总部方案曝光!

艺术要闻

日本著名当代艺术家草间弥生去世,享年97岁!

手机要闻

Bigme大我Hibreak Dual 3磁吸双屏墨水屏手机亮相

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版