网易首页 > 网易号 > 正文 申请入驻

谷歌 DeepMind 推 QuestBench 基准,测试 AI 模型的“补漏”能力

0
分享至

IT之家 4 月 26 日消息,科技媒体 marktechpost 昨日(4 月 25 日)发布博文,报道称谷歌 DeepMind 团队推出 QuestBench 新基准,通过约束满足问题(CSPs)框架,评估模型在推理任务中识别和获取缺失信息的能力。

现实挑战与信息获取需求

大型语言模型(LLMs)在推理任务中广受关注,涵盖数学、逻辑、规划和编码等领域。然而,现实世界的应用场景常常充满不确定性。

用户在提出数学问题时常忽略重要细节,机器人等自主系统也必须在部分可观测的环境中工作。这种理想化完整信息设定与现实不完备问题之间的矛盾,迫使 LLMs 发展主动信息获取能力。

IT之家援引博文介绍,识别信息缺口并生成针对性地澄清问题,成为模型在模糊场景中提供准确解决方案的关键。

QuestBench:评估信息缺口的新框架

为应对信息获取挑战,研究者推出了 QuestBench 基准,专门评估 LLMs 在推理任务中识别缺失信息的能力。

该基准将问题形式化为约束满足问题(CSPs),聚焦于“1-sufficient CSPs”,即只需知道一个未知变量值即可解决目标变量的问题。

QuestBench 覆盖逻辑推理(Logic-Q)、规划(Planning-Q)和小学数学(GSM-Q / GSME-Q)三个领域,按变量数量、约束数量、搜索深度和暴力搜索所需猜测次数四个难度轴分类,精准揭示模型的推理策略和性能瓶颈。

模型性能与未来改进空间

QuestBench 测试了包括 GPT-4o、Claude 3.5 Sonnet、Gemini 2.0 Flash Thinking Experimental 等领先模型,覆盖零样本、思维链和四样本设置。测试于 2024 年 6 月至 2025 年 3 月间进行,涉及 288 个 GSM-Q 和 151 个 GSME-Q 任务。

结果表明,思维链提示普遍提升了模型性能,而 Gemini 2.0 Flash Thinking Experimental 在规划任务中表现最佳。开源模型在逻辑推理上具竞争力,但在复杂数学问题上表现不佳。

研究指出,当前模型在简单代数问题上表现尚可,但随着问题复杂性增加,性能显著下降,凸显了在信息缺口识别和澄清能力上的改进空间。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

喜欢历史的阿繁
2026-11-18 13:39:51
美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

山河路口
2026-11-18 12:47:12
杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

大运河时空
2025-09-03 11:55:59
排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

情感大头说说
2026-11-18 04:48:40
杨瀚森遭弃用!央视停播表明态度!森林狼双杀开拓者,一战看清4个现实:诺里真该下课

杨瀚森遭弃用!央视停播表明态度!森林狼双杀开拓者,一战看清4个现实:诺里真该下课

毒舌NBA
2026-11-18 13:19:03
外媒:中国第4艘航母建造加速,最多能带100架舰载机,为和美国“福特”级匹敌,或采用核动力

外媒:中国第4艘航母建造加速,最多能带100架舰载机,为和美国“福特”级匹敌,或采用核动力

蓝星杂谈
2026-11-18 11:16:32
霍启山也没想到,自己大婚将至,反而让母亲朱玲玲承担了“恶意”

霍启山也没想到,自己大婚将至,反而让母亲朱玲玲承担了“恶意”

小莜读史
2026-11-18 07:06:31
现场画面:金正恩实地考察朝中边境城市旅游区建设

现场画面:金正恩实地考察朝中边境城市旅游区建设

每日经济新闻
2026-11-17 21:21:51
速看!今明两天,福田临时交通管控地图公布!

速看!今明两天,福田临时交通管控地图公布!

深圳本地宝
2026-11-18 10:18:14
五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

谈史论今1
2026-11-13 20:52:38
这俩,早晚要离?

这俩,早晚要离?

毒舌一姐
2026-11-17 20:30:31
浙江一老板工厂倒闭,46个工人他只安排了3个

浙江一老板工厂倒闭,46个工人他只安排了3个

智慧生活笔记
2026-11-18 06:26:01
工人安全绳被割断后续!警方介入,肇事者曝光,原因让人大跌眼镜

工人安全绳被割断后续!警方介入,肇事者曝光,原因让人大跌眼镜

小鋭有话说
2026-11-17 19:08:27
APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

大象新闻
2026-11-17 20:45:45
明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

云霄纪史观
2026-11-17 04:14:58
莫斯科吸烟角的独白:前线归来的俄罗斯士兵懊悔不已,告诫旁人切勿签合同去前线,坦言人人都盼望冲突早日结束

莫斯科吸烟角的独白:前线归来的俄罗斯士兵懊悔不已,告诫旁人切勿签合同去前线,坦言人人都盼望冲突早日结束

14号观星辰
2026-11-15 17:49:40
美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

极目新闻
2026-11-18 07:16:44
印专家:全球平衡已被我们彻底颠覆,中国和西方都对印度感到恐慌

印专家:全球平衡已被我们彻底颠覆,中国和西方都对印度感到恐慌

黄大姐
2026-11-16 23:03:33
上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

青科新闻
2026-11-08 11:25:23
iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

快科技
2026-11-18 07:43:05
2026-11-18 14:16:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379947文章数 607739关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
游戏
家居
旅游
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

英国法庭驳回索尼PlayStation数字内容集体诉讼

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版