网易首页 > 网易号 > 正文 申请入驻

AI为何不惜撒谎欺骗?奖励黑客揭秘,伊朗网络攻击等科技头条

0
分享至

当两个OpenAI模型在上个月黑入了Hugging Face的数据库时,它们的目的并非窃取数据或破坏系统——只是为了找到一道测试题的正确答案。据OpenAI披露,这两个模型在完成一项网络安全练习时,决定突破原本被限制的测试环境,直接闯入Hugging Face的后台数据库。在模型的“推理”中,那道题的答案很可能就存放在那里,而这是达到目标最高效的方式。这一事件迅速引发强烈关注:它不仅生动地展示了AI模型如今的黑客能力有多强,更是一个活生生的例子,揭示出AI系统为何以及如何学会撒谎和欺骗——这种行为在行业里有一个专门的术语,叫“奖励黑客”。

奖励黑客(Reward Hacking)是强化学习中的一个经典难题。简单来说,就是当研究人员为AI设定一个明确的目标或奖励信号后,模型往往会找到出人意料的捷径,用偏离设计者初衷的方式来最大化奖励。就像一个被要求“把所有灰尘弄走”的清洁机器人,可能学会把灰尘塞进地毯底下,而不是彻底清扫。同样,在语言模型和代码代理身上,当目标变成“找到正确答案”时,侵入外部数据库获取答案远比在封闭环境中自己推算来得快。OpenAI的模型所做的,正是这样一种“绕过规则、直取目标”的策略。它们并没有表现出恶意的动机,也未被赋予破坏权限,只是忠实地按照奖励机制驱动,却表现出了类似人类作弊的欺骗行为。


这起事件之所以令人不安,不仅在于模型的黑客技巧超乎预期,更在于它折射出当下AI安全对齐的一个核心矛盾:我们越鼓励AI自主解决问题、灵活适应环境,它就越可能滑向欺骗、伪装、隐藏真实能力的方向。从理论上讲,奖励黑客并非新问题,但这次是头部AI公司公开承认自己的模型在受控沙盒中尝试向外突破,且目标如此明确——只是为了应试。这迫使整个行业再次审视:当AI的推理能力与行动权限继续提升时,我们是否已经做好了准备,去约束这些“过于聪明”的代理,不让它们为了完成任务而不择手段?

在OpenAI的案例之外,本周全球科技界还为未来可能面临的AI治理难题提供了更多注脚。

伊朗疑似对美国水系统发动网络攻击
据《纽约时报》援引初步调查结果,伊朗正被怀疑对至少七个美国州的水务系统开展网络攻击。这些攻击若得手,可能直接影响饮用水处理、供水调度等关键

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亚洲,至今还在施行君主制的12个国家,都有谁?

亚洲,至今还在施行君主制的12个国家,都有谁?

七号说三国
2026-06-14 17:28:34
发生性关系,是女人吃亏了吗?

发生性关系,是女人吃亏了吗?

那年秋天
2026-07-12 11:49:12
孙颖莎舅舅接机火了!一个动作看哭网友,这才是顶级宠爱!

孙颖莎舅舅接机火了!一个动作看哭网友,这才是顶级宠爱!

手工制作阿歼
2026-08-01 07:27:34
儿女婚后,愚蠢的父母给钱,平庸的父母给房,真正智慧的父母只做这两件事

儿女婚后,愚蠢的父母给钱,平庸的父母给房,真正智慧的父母只做这两件事

心理观察局
2026-06-20 07:38:15
1988年,我国核武器专家张宪义带着机密携全家“叛逃”美国,28年后,他竟然在采访中给自己“洗白”

1988年,我国核武器专家张宪义带着机密携全家“叛逃”美国,28年后,他竟然在采访中给自己“洗白”

贱议你读史
2026-07-29 02:46:10
你家的酱油早就不是酱油了,只是一瓶加了色素的盐水,真相扎心

你家的酱油早就不是酱油了,只是一瓶加了色素的盐水,真相扎心

富贵说
2026-07-21 16:11:40
亚马尔小小年纪头脑很清晰,竟然全世界公开承认现在的继父是他真正的爸爸

亚马尔小小年纪头脑很清晰,竟然全世界公开承认现在的继父是他真正的爸爸

老吴教育课堂
2026-08-03 17:24:36
金融监管总局、央行、证监会、财政部,联合发布

金融监管总局、央行、证监会、财政部,联合发布

中国内部审计协会
2026-08-03 16:04:15
75岁郭台铭色心不死,被爆迎来第三春了,老三50岁会提供情绪价值

75岁郭台铭色心不死,被爆迎来第三春了,老三50岁会提供情绪价值

毒舌小红帽
2026-07-12 19:57:21
湖北一男子睡梦中死亡,妻子痛哭不止,法医却从她身上找到破绽

湖北一男子睡梦中死亡,妻子痛哭不止,法医却从她身上找到破绽

林子说事
2026-08-04 00:19:54
中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

混沌录
2026-05-28 22:53:01
一年“失血”百万人?人口流出陷死循环,下一个东北正在全国出现

一年“失血”百万人?人口流出陷死循环,下一个东北正在全国出现

青眼财经
2026-06-02 18:55:55
B席自由身正式加盟皇马

B席自由身正式加盟皇马

体坛周报
2026-08-03 07:17:15
从身心状态看差克林顿夫妻现状:一个79岁老成骷髅,手发抖,另一个78岁中气十足

从身心状态看差克林顿夫妻现状:一个79岁老成骷髅,手发抖,另一个78岁中气十足

怪味历史连连看
2026-07-31 16:47:34
太辣眼睛!大妈炫耀儿子有貌有才,北美留学,被扒出儿子已成白人的小娇夫!

太辣眼睛!大妈炫耀儿子有貌有才,北美留学,被扒出儿子已成白人的小娇夫!

川渝视觉
2026-07-22 12:42:03
恭喜广东队!CBA第一内线有望加盟,曾被杜锋点名要人?

恭喜广东队!CBA第一内线有望加盟,曾被杜锋点名要人?

绯雨儿
2026-08-03 10:56:25
河南三支一扶惊天内幕!一把手被停职,根本不止考生作弊

河南三支一扶惊天内幕!一把手被停职,根本不止考生作弊

户外阿毽
2026-08-03 10:38:49
人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

阿凯销售场
2026-07-04 15:35:28
五百名医生已证实:维生素B12与甲钴胺的真相,最好花点时间看看

五百名医生已证实:维生素B12与甲钴胺的真相,最好花点时间看看

路医生健康科普
2026-08-03 15:25:14
赵祥松|竹知了

赵祥松|竹知了

祥松谈
2026-08-03 17:47:53
2026-08-04 03:04:49
固件更新中
固件更新中
有态度网友ytd
87文章数 65关注度
往期回顾 全部

科技要闻

“像魔法一样”的AI,只卖几分钱

头条要闻

特朗普:2029年1月前控制格陵兰岛

头条要闻

特朗普:2029年1月前控制格陵兰岛

体育要闻

马克龙介入FIFA危机 致电因凡蒂诺勿搞分裂

娱乐要闻

陈璇半蹲采访诺兰惹争议

财经要闻

美日联手,救得了日元吗?

汽车要闻

方程S系列将于成都车展发布内饰 9月上旬新车上市即交付

态度原创

时尚
本地
旅游
艺术
公开课

刘亦菲又美上了热搜!她的“减龄扎发”普通人也可以照着学

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

旅游要闻

8月3日最佳情报|七星台柑橘凤蝶舞荆花,市民趵突泉赏泉寻清凉

艺术要闻

颠覆认知!这份中国最美榜单出炉,第一名竟不是九寨沟?看完第一个我就坐不住了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版