网易首页 > 网易号 > 正文 申请入驻

新测试基准发布,最强开源Llama 3分数骤降,差距拉开了

0
分享至

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

如果试题太简单,学霸和学渣都能考90分,拉不开差距……

随着Claude 3、Llama 3甚至之后GPT-5等更强模型发布,业界急需一款更难、更有区分度的基准测试

大模型竞技场背后组织LMSYS推出下一代基准测试Arena-Hard,引起广泛关注。

Llama 3的两个指令微调版本实力到底如何,也有了最新参考。



与之前大家分数都相近的MT Bench相比,Arena-Hard区分度从22.6%提升到87.4%,孰强孰弱一目了然。

Arena-Hard利用竞技场实时人类数据构建,与人类偏好一致率也高达89.1%

除了上面两个指标都达到SOTA之外,还有一个额外的好处:

实时更新的测试数据包含人类新想出的、AI在训练阶段从未见过的提示词,减轻潜在的数据泄露

并且新模型发布后,无需再等待一周左右时间让人类用户参与投票,只需花费25美元快速运行测试管线,即可得到结果。

有网友评价,使用真实用户提示词而不是高中考试来测试,真的很重要。



新基准测试如何运作?

简单来说,通过大模型竞技场20万个用户查询中,挑选500个高质量提示词作为测试集。

首先,挑选过程中确保多样性,也就是测试集应涵盖广泛的现实世界话题。

为了确保这一点,团队采用BERTopic中主题建模管道,首先使用OpenAI的嵌入模型(text-embedding-3-small)转换每个提示,使用 UMAP 降低维度,并使用基于层次结构的模型聚类算法(HDBSCAN)来识别聚类,最后使用GPT-4-turbo进行汇总。



同时确保入选的提示词具有高质量,有七个关键指标来衡量:

  • 具体性:提示词是否要求特定的输出?
  • 领域知识:提示词是否涵盖一个或多个特定领域?
  • 复杂性:提示词是否有多层推理、组成部分或变量?
  • 解决问题:提示词是否直接让AI展示主动解决问题的能力?
  • 创造力:提示词是否涉及解决问题的一定程度的创造力?
  • 技术准确性:提示词是否要求响应具有技术准确性?
  • 实际应用:提示词是否与实际应用相关?



使用GPT-3.5-Turbo和GPT-4-Turbo对每个提示进行从 0 到 7 的注释,判断满足多少个条件。然后根据提示的平均得分给每个聚类评分。

高质量的问题通常与有挑战性的话题或任务相关,比如游戏开发或数学证明。



新基准测试准吗?

Arena-Hard目前还有一个弱点:使用GPT-4做裁判更偏好自己的输出。官方也给出了相应提示。

可以看出,最新两个版本的GPT-4分数高过Claude 3 Opus一大截,但在人类投票分数中差距并没有那么明显。



其实关于这一点,最近已经有研究论证,前沿模型都会偏好自己的输出



研究团队还发现,AI天生就可以判断出一段文字是不是自己写的,经过微调后自我识别的能力还能增强,并且自我识别能力与自我偏好线性相关



那么使用Claude 3来打分会使结果产生什么变化?LMSYS也做了相关实验。

首先,Claude系列的分数确实会提高。



但令人惊讶的是,它更喜欢几种开放模型如Mixtral和零一万物Yi,甚至对GPT-3.5的评分都有明显提高。

总体而言,使用Claude 3打分的区分度和与人类结果的一致性都不如GPT-4。



所以也有很多网友建议,使用多个大模型来综合打分



除此之外,团队还做了更多消融实验来验证新基准测试的有效性。

比如在提示词中加入“让答案尽可能详尽”,平均输出长度更高,分数确实会提高。

但把提示词换成“喜欢闲聊”,平均输出长度也有提高,但分数提升就不明显。



此外在实验过程中还有很多有意思的发现。

比如GPT-4来打分非常严格,如果回答中有错误会狠狠扣分;而Claude 3即使识别出小错误也会宽大处理。

对于代码问题,Claude 3倾向于提供简单结构、不依赖外部代码库,能帮助人类学习编程的答案;而GPT-4-Turbo更倾向最实用的答案,不管其教育价值如何。

另外即使设置温度为0,GPT-4-Turbo也可能产生略有不同的判断。

从层次结构可视化的前64个聚类中也可以看出,大模型竞技场用户的提问质量和多样性确实是高。



这里面也许就有你的贡献。

Arena-Hard GitHub:
https://github.com/lm-sys/arena-hard
Arena-Hard HuggingFace:
https://huggingface.co/spaces/lmsys/arena-hard-browser
大模型竞技场:
https://arena.lmsys.org

参考链接:
[1]https://x.com/lmsysorg/status/1782179997622649330
[2]https://lmsys.org/blog/2024-04-19-arena-hard

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
专家:燃油车禁止在市区行驶,全面转向新能源汽车发展 共绘未来

专家:燃油车禁止在市区行驶,全面转向新能源汽车发展 共绘未来

看看娱乐与体育
2024-05-24 18:37:13
森林北深夜辟谣,评论区沦陷了!王思聪看不下去大骂:不要脸!

森林北深夜辟谣,评论区沦陷了!王思聪看不下去大骂:不要脸!

爱吃番茄猪扒的使者
2024-05-22 23:00:19
台湾艺人纷纷力挺祖国统一!田馥甄惹怒粉丝大爆料!

台湾艺人纷纷力挺祖国统一!田馥甄惹怒粉丝大爆料!

小毅讲历史
2024-05-24 18:59:17
保时捷一季度在华销量跌24%,销售称降价史无前例,44万就能买车

保时捷一季度在华销量跌24%,销售称降价史无前例,44万就能买车

音乐时光的娱乐
2024-05-24 13:29:03
我国GDP是美国70%,人口是他的四倍,为啥内需没有美国那么旺盛?

我国GDP是美国70%,人口是他的四倍,为啥内需没有美国那么旺盛?

娱乐圈的大爆炸
2024-05-24 14:13:49
德乙升级附加赛:德甲第16爆大冷0-3德乙第3,拜仁绊脚石命悬一线

德乙升级附加赛:德甲第16爆大冷0-3德乙第3,拜仁绊脚石命悬一线

侧身凌空斩
2024-05-24 04:24:46
香港大学这几百内地生惨了,几百万打水漂还可能面临最高刑罚14年的监禁,伙同黑中介学历造假最终害人害己!

香港大学这几百内地生惨了,几百万打水漂还可能面临最高刑罚14年的监禁,伙同黑中介学历造假最终害人害己!

澳门月刊
2024-05-23 07:44:26
六年整形医生曝森林北整容,晒海量对比照,汪峰这次真看走眼了!

六年整形医生曝森林北整容,晒海量对比照,汪峰这次真看走眼了!

娱圈小愚
2024-05-22 09:28:55
什么情况?中国空间站突然下降!3名航天员还在里面,如何应对?

什么情况?中国空间站突然下降!3名航天员还在里面,如何应对?

奇点使者
2024-05-23 19:20:03
台海之战,我军可能面临一个大麻烦:打不掉台军的指挥系统

台海之战,我军可能面临一个大麻烦:打不掉台军的指挥系统

慎独赢
2024-05-03 10:00:09
解放军围台2个小时前,美军突然收到命令,“末日飞机”紧急起飞

解放军围台2个小时前,美军突然收到命令,“末日飞机”紧急起飞

青年的背包
2024-05-24 16:30:10
43岁男子家中藏100多张黄碟,与情人分手后竟然对她19岁女儿下手

43岁男子家中藏100多张黄碟,与情人分手后竟然对她19岁女儿下手

胖胖侃咖
2024-05-24 08:00:02
体图:多特在竞争中击败皇马签下莱尔马,基础转会费约400万欧

体图:多特在竞争中击败皇马签下莱尔马,基础转会费约400万欧

直播吧
2024-05-24 14:14:13
广东省机场管理集团有限公司原副总经理李明被查

广东省机场管理集团有限公司原副总经理李明被查

新京报
2024-05-24 17:15:21
张康阳正式时代落幕!国米官方发布公告:橡树资本已控股99.6%

张康阳正式时代落幕!国米官方发布公告:橡树资本已控股99.6%

ALL体育
2024-05-24 08:17:18
华春莹称将落实《开罗宣言》,日本主权仅限四岛,中方已做好准备

华春莹称将落实《开罗宣言》,日本主权仅限四岛,中方已做好准备

圈里的甜橙子
2024-05-23 22:53:24
从店招事件,我看到上海越来越有北方城市风格了

从店招事件,我看到上海越来越有北方城市风格了

清晖有墨
2024-05-23 11:38:37
新一代奥迪A6曝光,配2.0T和3.0T动力,外观更年轻化,值得期待?

新一代奥迪A6曝光,配2.0T和3.0T动力,外观更年轻化,值得期待?

车品
2024-05-23 16:56:20
53岁大姐每次吃面都放醋,去医院体检后,医生疑惑:平时吃的啥

53岁大姐每次吃面都放醋,去医院体检后,医生疑惑:平时吃的啥

荷兰豆爱健康
2024-05-18 11:37:22
射精一次会减寿?男性一生最多只能排6000次精?看完心里有数

射精一次会减寿?男性一生最多只能排6000次精?看完心里有数

奇妙的本草
2024-05-20 20:00:03
2024-05-24 22:50:44
量子位
量子位
追踪人工智能动态
9437文章数 175292关注度
往期回顾 全部

科技要闻

对话王小川:我们不跟进大模型价格战

头条要闻

媒体:解放军军演打赖清德个措手不及 美方反应出人意料

头条要闻

媒体:解放军军演打赖清德个措手不及 美方反应出人意料

体育要闻

阿兰,好久不见

娱乐要闻

霍启仁求婚成功,郭晶晶要有妯娌了

财经要闻

白重恩解读中国经济的3个关键问题

汽车要闻

宝马M品牌上新 2024年在华推出近10款高性能车型

态度原创

亲子
健康
房产
家居
手机

亲子要闻

超四成Z世代父母有育儿焦虑, 代际观念差异等是焦虑来源

在中国,到底哪些人在吃“伟哥”?

房产要闻

超高性价比!仁恒长天云汀价格曝光!近500套房源一次砸出!

家居要闻

静默力量 以真实内心直面建筑的体感

手机要闻

搭载骁龙8 Gen3处理器!OPPO Pad 3获认证:支持67W快充

无障碍浏览 进入关怀版