网易首页 > 网易号 > 正文 申请入驻

微软新研究:当前 AI 代理易被操控,选择太多还会“犯迷糊”

0
分享至

IT之家 11 月 6 日消息,微软周三发布了一个用于测试人工智能代理(AI agents)的新仿真环境,并同期发表了一项新研究,揭示当前的代理模型可能容易受到操控。这项由微软与亚利桑那州立大学合作开展的研究,对 AI 代理在无人监督情况下执行任务的可靠性提出了新疑问,同时也质疑 AI 企业能否迅速兑现其关于“代理化未来”(agentic future)的承诺。


图源:微软官网

该仿真环境由微软命名为“Magentic Marketplace”(磁性市场),是一个用于实验 AI 代理行为的人工合成平台。典型的实验场景包括:一个代表用户的“客户代理”试图依照用户指令订购晚餐,而代表不同餐厅的多个“商家代理”则竞相争取这笔订单。

研究团队的初步实验涉及 100 个客户侧代理与 300 个商家侧代理之间的互动。由于该市场平台的源代码已开源,其他研究团队可轻松复用该代码开展新实验或验证已有结果。

微软研究院 AI 前沿实验室(AI Frontiers Lab)董事总经理埃杰・卡马尔(Ece Kamar)表示,此类研究对于深入理解 AI 代理的能力至关重要。“当这些代理开始彼此协作、对话和协商时,世界将如何改变,这确实是一个值得探讨的问题,”卡马尔说,“我们希望深入理解这些现象。”

据IT之家了解,初步研究测试了包括 GPT-4o、GPT-5 以及 Gemini-2.5-Flash 在内的主流模型,发现了它们一些令人意外的弱点。研究人员尤其指出,商家可通过若干策略操控客户代理,使其更倾向于购买特定产品。此外,当客户代理面对过多选项时,其决策效率显著下降 —— 这表明代理的注意力机制在选项过多时容易过载。

“我们希望这些代理能帮助我们处理海量选项,”卡马尔表示,“但我们发现,当前模型在面对过多选择时实际上陷入了严重的信息过载。”

研究还发现,当多个代理被要求为实现共同目标而协作时,它们往往难以明确各自在协作中的角色分工。虽然在提供更明确的协作指令后,代理的表现有所提升,但研究人员仍认为模型本身的协作能力亟待加强。

“我们可以一步步指示模型该做什么,”卡马尔解释道,“但如果我们的目标本身就是测试它们内在的协作能力,那么我本应期待这些模型默认就具备这样的能力。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
越扒越有!张雪峰去世早有预兆,他的3个不良爱好,或成催命符

越扒越有!张雪峰去世早有预兆,他的3个不良爱好,或成催命符

潮鹿逐梦
2026-03-26 11:24:44
4小时先后炸场!Lisa Jennie比基尼造型隔空battle,两种性感封神

4小时先后炸场!Lisa Jennie比基尼造型隔空battle,两种性感封神

橙星文娱
2026-03-27 13:31:39
郜林:往返高速费和油费就让工资所剩无几,小克是目标榜样

郜林:往返高速费和油费就让工资所剩无几,小克是目标榜样

懂球帝
2026-03-26 22:00:56
全世界没料到,美国动作真快,没踩中东坑,反而一招洗空30万亿债

全世界没料到,美国动作真快,没踩中东坑,反而一招洗空30万亿债

潋滟晴方DAY
2026-03-26 22:46:22
开源作者把5个免费账号拼成1个无限额度,AI公司还没反应过来

开源作者把5个免费账号拼成1个无限额度,AI公司还没反应过来

报错免疫体
2026-03-26 12:07:59
殡仪馆烧尸人:一具遗体最少卖八千块,年轻漂亮的女尸卖得更贵

殡仪馆烧尸人:一具遗体最少卖八千块,年轻漂亮的女尸卖得更贵

吴学华看天下
2024-08-15 14:45:07
他俩才是最牛岳父母,3个女儿全嫁百亿富豪,一个比一个漂亮厉害

他俩才是最牛岳父母,3个女儿全嫁百亿富豪,一个比一个漂亮厉害

白面书誏
2026-03-26 18:13:05
西媒:伊朗已允许与西班牙有关联的船只通过霍尔木兹海峡,伊朗认为西班牙是一个遵守国际法的国家,愿意接受马德里提出的任何(通行)请求

西媒:伊朗已允许与西班牙有关联的船只通过霍尔木兹海峡,伊朗认为西班牙是一个遵守国际法的国家,愿意接受马德里提出的任何(通行)请求

鲁中晨报
2026-03-27 13:01:06
票房惨淡,引进片为何加速失去中国观众

票房惨淡,引进片为何加速失去中国观众

经济观察报
2026-03-25 16:05:24
克弩与库里,差了些什么?

克弩与库里,差了些什么?

张佳玮写字的地方
2026-03-27 14:35:23
79元太火!小米磁吸玩偶卖断货 官方承诺加快生产

79元太火!小米磁吸玩偶卖断货 官方承诺加快生产

快科技
2026-03-26 07:09:03
爆大冷!点球大战决胜负,威尔士无缘世界杯,40岁哲科立大功

爆大冷!点球大战决胜负,威尔士无缘世界杯,40岁哲科立大功

足球狗说
2026-03-27 06:50:25
80岁郭凤莲两会发声被网暴:农村老人163元养老金,欠的账该清了

80岁郭凤莲两会发声被网暴:农村老人163元养老金,欠的账该清了

今日搞笑分享
2026-03-27 12:35:44
曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

古希腊掌管松饼的神
2026-03-25 12:00:46
“鸟面妈妈”王小妞:不听劝阻生二胎,儿子遗传其外貌,现如何

“鸟面妈妈”王小妞:不听劝阻生二胎,儿子遗传其外貌,现如何

观察者海风
2026-03-24 23:04:30
美媒:若中国不偿还百年前的债务,美国也将不承认欠华8600亿美元

美媒:若中国不偿还百年前的债务,美国也将不承认欠华8600亿美元

文史达观
2025-03-18 12:54:58
妻子升副局长跟我离婚,半年后我去开会,见她在门口等我2小时

妻子升副局长跟我离婚,半年后我去开会,见她在门口等我2小时

千秋文化
2026-03-25 21:49:57
央视发文,60岁释永信再迎噩耗,被他害惨的4个明星也出了口恶气

央视发文,60岁释永信再迎噩耗,被他害惨的4个明星也出了口恶气

阿伧说事
2026-03-25 07:11:23
杜月笙的识人术:只看对方的一个站姿,就能知道他是龙还是虫

杜月笙的识人术:只看对方的一个站姿,就能知道他是龙还是虫

千秋文化
2026-03-23 20:09:06
湖南师范大学临床医学院党委书记袁友红因突发疾病逝世,年仅56岁

湖南师范大学临床医学院党委书记袁友红因突发疾病逝世,年仅56岁

澎湃新闻
2026-03-27 10:20:26
2026-03-27 15:12:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
336209文章数 607093关注度
往期回顾 全部

科技要闻

OpenAI果断砍掉"成人模式",死磕生产力

头条要闻

媒体:和张雪峰一样 还有多位名人也因猝死骤然离世

头条要闻

媒体:和张雪峰一样 还有多位名人也因猝死骤然离世

体育要闻

邵佳一:足球就像一场马拉松

娱乐要闻

张雪峰灵堂内景曝光,四周摆满了鲜花

财经要闻

很反常!油价向上,黄金向下

汽车要闻

与众08,金标大众不能输的一战

态度原创

数码
房产
健康
教育
军事航空

数码要闻

华为全新13.2英寸平板实机图曝光 采用星环影像设计

房产要闻

刚刚,海南楼市,官方数据发布!

转头就晕的耳石症,能开车上班吗?

教育要闻

黄晓明再次回应“考博落榜”

军事要闻

伊朗:已组织超100万人为地面战斗做准备

无障碍浏览 进入关怀版