网易首页 > 网易号 > 正文 申请入驻

OpenAI o3 模型基准测试成绩遭质疑,实测分数远不及宣称

0
分享至

IT之家 4 月 21 日消息,OpenAI 的 o3 人工智能模型的第一方与第三方基准测试结果存在显著差异,引发了外界对其公司透明度和模型测试实践的质疑。

去年 12 月,OpenAI 首次发布 o3 模型时宣称,该模型能够在 FrontierMath 这一极具挑战性的数学问题集上正确回答超过四分之一的问题。这一成绩远远超过了竞争对手 —— 排名第二的模型仅能正确回答约 2% 的 FrontierMath 问题。OpenAI 首席研究官 Mark Chen 在直播中表示:“目前市场上所有其他产品在 FrontierMath 上的成绩都不足 2%,而我们在内部测试中,使用 o3 模型在激进的测试时计算设置下,能够达到超过 25% 的正确率。”

然而,这一高分似乎是一个上限值,是通过一个计算资源更为强大的 o3 模型版本实现的,而并非是 OpenAI 上周公开发布的版本。负责 FrontierMath 的 Epoch 研究所于上周五公布了其对 o3 模型的独立基准测试结果,发现 o3 的得分仅为约 10%,远低于 OpenAI 此前声称的最高分数。

这并不意味着 OpenAI 故意撒谎,该公司在 12 月份公布的基准测试结果中也包含了一个与 Epoch 测试结果相符的较低分数。Epoch 还指出,其测试设置可能与 OpenAI 有所不同,并且其评估使用了更新版本的 FrontierMath。Epoch 在报告中写道:“我们与 OpenAI 的结果差异可能是因为 OpenAI 在内部评估时使用了更强大的计算框架、更多的测试时计算资源,或者是因为这些结果是在 FrontierMath 的不同子集上运行的(例如 2024 年 11 月 26 日版本的 180 个问题与 2025 年 2 月 28 日私有版本的 290 个问题)。”

此外,ARC Prize 基金会(一个测试了 o3 预发布版本的组织)在 X 平台上发布消息表示,公开发布的 o3 模型是一个“针对聊天 / 产品使用进行了调整的不同模型”,这进一步证实了 Epoch 的报告。ARC Prize 还指出:“所有发布的 o3 计算层级都比我们测试的版本要小。”一般来说,更大的计算层级通常可以获得更好的基准测试分数。

值得注意的是,尽管公开版本的 o3 未能完全达到 OpenAI 测试时的表现,但这在一定程度上已不再是关键问题,因为该公司后续推出的 o3-mini-high 和 o4-mini 模型在 FrontierMath 上的表现已经优于 o3。此外,OpenAI 计划在未来几周内推出更强大的 o3 版本 o3-pro。

然而,此事再次提醒人们,人工智能基准测试结果最好不要完全照单全收,尤其是当结果来自一家有产品需要销售的公司时。随着人工智能行业竞争的加剧,各供应商纷纷急于通过推出新模型来吸引眼球和市场份额,基准测试“争议”正变得越来越常见。

IT之家注意到,今年 1 月,Epoch 因在 OpenAI 宣布 o3 之后才披露其从 OpenAI 获得的资金支持而受到批评。许多为 FrontierMath 做出贡献的学者直到公开时才知道 OpenAI 的参与。最近,埃隆・马斯克的 xAI 被指控为其最新的人工智能模型 Grok 3 发布了误导性的基准测试图表。就在本月,Meta 也承认其宣传的基准测试分数所基于的模型版本与提供给开发者的版本不一致。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别用“疼不疼”判断要不要去医院:心梗的五个判断

别用“疼不疼”判断要不要去医院:心梗的五个判断

澎湃新闻
2026-11-20 10:39:04
黄仁勋被传募资500亿美元创业,Anthropic上市首日遭硅谷联合抵制,腾讯大幅削减元宝投入,谢欣朋友圈辟谣离职,这就是今天的其他大新闻!

黄仁勋被传募资500亿美元创业,Anthropic上市首日遭硅谷联合抵制,腾讯大幅削减元宝投入,谢欣朋友圈辟谣离职,这就是今天的其他大新闻!

差评XPIN
2026-11-21 01:34:56
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

黄埔少侠
2026-11-20 18:48:11
突发暴跌!超29万人爆仓

突发暴跌!超29万人爆仓

中国基金报
2026-11-21 09:22:17
七旬老太去北京看病,发现医生竟是她在云南当知青时生下的孩子

七旬老太去北京看病,发现医生竟是她在云南当知青时生下的孩子

兰姐说故事
2025-01-16 05:05:03
三叶虫重生?广东女子在石头下发现扁平怪虫!网友:不是灭绝了吗?

三叶虫重生?广东女子在石头下发现扁平怪虫!网友:不是灭绝了吗?

狸猫之一的动物圈
2026-11-21 09:00:44
【数说经济】不要小看中国经济“稳”的分量

【数说经济】不要小看中国经济“稳”的分量

经济日报
2026-11-20 06:55:13
连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

兵国大事
2026-11-20 16:37:56
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

每日经济新闻
2026-11-20 09:59:35
U17世界杯积分榜:摩洛哥力压西班牙领跑,国少暂列第3

U17世界杯积分榜:摩洛哥力压西班牙领跑,国少暂列第3

懂球帝
2026-11-21 03:33:31
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

揽星戈
2026-11-21 02:54:51
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
哈登爆砍51分赛后!队友教练啥反应?阿特金森感恩,新援彻底臣服

哈登爆砍51分赛后!队友教练啥反应?阿特金森感恩,新援彻底臣服

董说体育
2026-11-21 12:03:18
黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

背包旅行
2026-11-21 10:00:13
葡萄牙队祝贺C罗986球!球迷怒冲评论区:谁允许你发GOAT了?

葡萄牙队祝贺C罗986球!球迷怒冲评论区:谁允许你发GOAT了?

念洲
2026-11-21 08:51:43
董路疯狂嘲笑马德兴:U17国足绝不摆大巴?要踢进攻足球?哈哈哈哈

董路疯狂嘲笑马德兴:U17国足绝不摆大巴?要踢进攻足球?哈哈哈哈

念洲
2026-11-21 07:56:20
2026-11-21 13:03:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380578文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
旅游
房产
公开课
军事航空

教育要闻

五角星数线段,看着简单,多数孩子数错

旅游要闻

产业规模破万亿元!高铁直达、夜场升级,冰雪消费提前升温

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版