网易首页 > 网易号 > 正文 申请入驻

研究人员发现Meta的AI系统Cicero存在欺骗行为,不仅谎话连篇而且破坏协议

0
分享至

在未经训练的情况下,一些人工智能系统足以做到“欺骗”人类,为它们的行为提供不真实的解释,或者向人类用户隐瞒真相并误导他们以实现战略目标。

今天,一篇总结相关研究的综述论文发表在 Patterns 杂志上。论文指出,这个问题突显了控制人工智能有多困难,以及这些系统的工作方式是多么的不可预测。


(来源:STEPHANIE ARNETT/MITTR)

说起“欺骗(deceive)”人类,你可能会误认为这些模型是“故意的”,但这是不对的。

为了实现人类赋予它们的目标,人工智能模型只会无所不用地找到解决障碍的方法。有时,这些变通办法会违背用户的期望并让人感觉到它具有欺骗性。

人工智能系统可以在游戏环境中学会欺骗,特别是当这些游戏要玩家采取战略行动时。它们通常被要求以获胜为目的并接受训练。

2022 年 11 月,Meta 宣布了人工智能系统 Cicero,这是一种能够在一款名为《外交》的游戏中击败人类的人工智能。

《外交》是一款流行的军事战略游戏,玩家可以在游戏中谈判并组成联盟,争夺欧洲的控制权。

Meta 的研究人员表示,他们已经根据其数据集的“真实(truthful)”子集对 Cicero 进行了训练,使其在很大程度上保持诚实且乐于助人,并且它“绝不会为了成功而故意背刺”其盟友。

但这篇新论文的作者声称,事实恰恰相反:Cicero 会破坏协议、谎话连篇,并进行了有预谋的欺骗。

作者表示,尽管该公司确实试图训练 Cicero 诚实行事,但它未能实现这一目标。这表明人工智能系统可以出乎人类意料地学会欺骗。

Meta 既没有证实也没有否认研究人员关于 Cicero 表现出欺骗行为的说法,但一位发言人表示,这纯粹是一个研究项目,该模型只是为了玩这款游戏而创建的。

发言人说:“我们以非商业许可的方式发布了该项目的成果,这符合我们对开放科学的长期承诺。

Meta 会定期分享我们的研究结果以对其进行验证,并使其他人能够负责任地利用我们的技术进步。我们没有在自家产品中使用这项研究或其知识的计划。”

但这并不是唯一一个人工智能“欺骗”人类玩家并获胜的游戏。

AlphaStar 是 DeepMind 为电子游戏《星际争霸 II》而开发的人工智能,它非常擅长使用欺骗对手的战术(称为佯攻),甚至击败了 99.8% 的人类玩家。

Meta 创造的另一个名为 Pluribus 的人工智能系统,成功地学会了在扑克游戏中虚张声势(诈唬),以至于研究人员决定不发布其代码,因为担心它可能会破坏扑克社区。

除了游戏之外,研究人员还列出了人工智能欺骗行为的其他例子。OpenAI 最新的大型语言模型 GPT-4 在一次测试中给出了谎言。在测试中,它被要求说服人类为其解决验证码。

该系统还在一次模拟练习中提出了内幕交易。在模拟中,它被告知要扮演压力巨大的股票交易员,但从未被明确指示要进行内幕交易。

事实上,人工智能模型有可能在没有任何指示的情况下以欺骗性的方式行事,这一事实似乎令人担忧。

参与了该项目的麻省理工学院人工智能领域博士后彼得·S·帕克(Peter S. Park)表示,这主要源于最先进的机器学习模型的“黑盒”问题。

我们尚且无法确切地说出它们如何或为何产生一些结果,或者它们未来是否总是会表现出这种行为。

“仅仅因为你的人工智能在测试环境中具有某些行为或倾向,并不意味着它会在真实环境中展现同样的行为。”

他说,“没有简单的方法可以解决这个问题,如果你想了解人工智能在部署后会做什么,那么你只能将它放到真实世界中。”

我们将人工智能模型拟人化的倾向影响了我们测试这些系统的方式,以及我们对其功能的看法。

毕竟,通过旨在衡量人类创造力的测试并不意味着人工智能模型实际上具有创造力。

英国剑桥大学人工智能研究员哈利·劳(Harry Law)表示,监管机构和人工智能公司必须仔细权衡该技术造成危害的可能性与其对社会的潜在利益,并明确区分模型能做什么和不能做什么。

他没有参与这项研究。“这些都是非常棘手的问题。”他说。

他表示,从根本上来说,目前我们不可能训练出一个在所有可能的情况下都无法骗人的人工智能模型。

此外,潜在的欺骗行为只是众多人工智能问题之一,其他问题还有放大偏见和错误信息。在人工智能模型被信任执行现实世界任务之前,我们需要解决这些问题。

“这是一项很好的研究,表明欺骗是可能的。”劳说,“下一步可能是进一步弄清楚风险状况是什么,以及欺骗行为可能造成的危害有多大可能出现,以及以何种方式出现。”

支持:Ren

运营/排版:何晨龙

01/ 科学家制备梯度石墨烯气凝胶,实现高浓度盐水持续淡化,并构建太阳能脱盐灌溉系统

02/ AlphaFold3来了!无需输入任何结构信息,生物分子预测精度高出50%

03/ 揭开化学反应“黑匣子”,杨学明院士团队联合发展控制氢分子立体取向新方法,精准调控化学反应

04/ 南科大团队实现无扩散的单光子波包,为量子态远距离传输提供理想光形态,或实现更复杂的量子系统

05/ 同济团队开发新型无铂催化剂,每克制备成本不到100元,为制备金属氧化物催化材料提供指导


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
第二个“富士康”来了?抛弃10万工人,关闭百亿工厂,铁了心撤离

第二个“富士康”来了?抛弃10万工人,关闭百亿工厂,铁了心撤离

智观科技
2024-05-27 21:57:58
法网精彩一夜!众大佬送别红土之王,6号种子爆冷出局,辛纳完胜

法网精彩一夜!众大佬送别红土之王,6号种子爆冷出局,辛纳完胜

大秦壁虎白话体育
2024-05-28 09:05:13
福建女子向清华才子炫耀1亿家产,被装铁桶沉晋江,5天后捞出

福建女子向清华才子炫耀1亿家产,被装铁桶沉晋江,5天后捞出

一场奇遇日记
2024-05-23 19:10:42
湖南男子邀好友家中聚餐,不料引狼入室,洗澡时妻子趁机出轨

湖南男子邀好友家中聚餐,不料引狼入室,洗澡时妻子趁机出轨

青丝人生
2024-05-28 19:41:46
如果马寅初没提出人口论,也没有计划生育,如今的我国会怎么样?

如果马寅初没提出人口论,也没有计划生育,如今的我国会怎么样?

国学聚焦
2024-05-28 05:55:02
别了曼联,换帅,50岁名帅重返,拉爵发力,瓜迪奥拉有对手了

别了曼联,换帅,50岁名帅重返,拉爵发力,瓜迪奥拉有对手了

球文速递
2024-05-29 00:14:36
邦奇-威尔斯:三年后所有球队都想得到米勒 他身上有乔治的影子

邦奇-威尔斯:三年后所有球队都想得到米勒 他身上有乔治的影子

直播吧
2024-05-29 00:05:43
网传上海某公园内,保安呵斥年轻人读外国诗:中国五千年文化没有诗了吗?

网传上海某公园内,保安呵斥年轻人读外国诗:中国五千年文化没有诗了吗?

可达鸭面面观
2024-05-28 12:30:33
热搜第一!千万粉丝网红塌房!本人、公司回应

热搜第一!千万粉丝网红塌房!本人、公司回应

极目新闻
2024-05-27 08:53:54
拿破仑DD重现世间?!风干200年,外媒形容它像“干瘪牛肉干”!噫...

拿破仑DD重现世间?!风干200年,外媒形容它像“干瘪牛肉干”!噫...

英国那些事儿
2024-05-27 23:12:03
《庆余年2》迎来大结局,不出所料,只有大皇子付辛博吃到红利

《庆余年2》迎来大结局,不出所料,只有大皇子付辛博吃到红利

青苔同学
2024-05-28 21:18:09
尼克-杨:我找科比在阿迪上签名 科比直接扔进垃圾桶说他只签耐克

尼克-杨:我找科比在阿迪上签名 科比直接扔进垃圾桶说他只签耐克

直播吧
2024-05-28 17:09:15
霍启刚三兄弟罕同框,36岁霍启仁太帅气,穿搭看出和俩哥哥区别!

霍启刚三兄弟罕同框,36岁霍启仁太帅气,穿搭看出和俩哥哥区别!

独特的文史
2024-05-28 20:16:39
上海楼市新政易被忽视的隐秘信息:郊区的新房子真的卖不动了?

上海楼市新政易被忽视的隐秘信息:郊区的新房子真的卖不动了?

王五说说看
2024-05-27 20:11:54
姆皇?新马夏尔而已!外媒2015年报道:皇马正追新马夏尔--姆巴佩

姆皇?新马夏尔而已!外媒2015年报道:皇马正追新马夏尔--姆巴佩

直播吧
2024-05-28 19:28:08
国乒新鲜事:5.28传来孙颖莎、王楚钦、梁靖崑、樊振东多人消息!

国乒新鲜事:5.28传来孙颖莎、王楚钦、梁靖崑、樊振东多人消息!

小豆豆赛事
2024-05-28 21:16:24
40岁单身妈妈在家寂寞,儿子同学来做客,殊不知竟是陷阱

40岁单身妈妈在家寂寞,儿子同学来做客,殊不知竟是陷阱

初遇你
2023-10-10 17:52:42
身弱之人建议:常扔东西,照着扔就对了!

身弱之人建议:常扔东西,照着扔就对了!

四象八卦
2024-05-28 08:56:31
乌克兰得到一笔“前所未有”的援助

乌克兰得到一笔“前所未有”的援助

环球时报国际
2024-05-27 23:57:17
2005年,韩国把“汉城”改为首尔,全世界为何只要求中国修改

2005年,韩国把“汉城”改为首尔,全世界为何只要求中国修改

文史达观
2024-05-26 06:45:03
2024-05-29 06:52:49
DeepTech深科技
DeepTech深科技
麻省理工科技评论独家合作
13865文章数 511749关注度
往期回顾 全部

科技要闻

4月中国手机需求回升 iPhone出货量增长52%

头条要闻

安徽坍塌居民楼结构脆弱 专家称其"像积木搭在墙上"

头条要闻

安徽坍塌居民楼结构脆弱 专家称其"像积木搭在墙上"

体育要闻

商讨球队建队计划?巴萨主席拉波尔塔与弗里克共进晚餐

娱乐要闻

昆凌晒三胎正面照,2岁妹妹超像周杰伦

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

三联屏/纯电续航318km 岚图FREE 318官图发布

态度原创

艺术
本地
亲子
健康
公开课

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

亲子要闻

妈妈分享自家萌娃玩蹦蹦车的样子,这不就是爷爷奶奶的梦中情孙吗

晚餐不吃or吃七分饱,哪种更减肥?

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版