网易首页 > 网易号 > 正文 申请入驻

“大海捞针”out!“数星星”成测长文本能力更准方法,来自鹅厂

0
分享至

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

大模型长文本能力测试,又有新方法了!

腾讯MLPD实验室,用全新开源的“数星星”方法替代了传统的“大海捞针”测试。

相比之下,新方法更注重对模型处理长依赖关系能力的考察,对模型的评估更加全面精准。



利用这种方法,研究人员对GPT-4和国内知名的Kimi Chat进行了“数星星”测试。

结果,在不同的实验条件下,两款模型各有胜负,但都体现出了很强的长文本能力。


△横轴系以2为底的对数坐标

那么,“数星星”究竟是怎样的一种测试呢?

比“大海捞针”更加精准

首先,研究人员选择了一段长文本做为上下文,测试过程中长度逐渐递增,最大为128k。

然后,根据不同的测试难度需求,整段文本会被划分成N段,并向其中插入M个包含“星星”的句子



实验过程中,研究人员选择了《红楼梦》作为上下文文本,向其中加入了“小企鹅数了x颗星星”这样的句子,每个句子中的x都各不相同。



然后,模型会被要求找到所有这样的句子,并以JSON格式输出其中所有的数字,且只输出数字。



得到模型的输出之后,研究人员会将这些数字和Ground Truth进行对比,最终计算出模型输出的正确率。

相比于之前的“大海捞针”测试,这种“数星星”的方法更能体现出模型处理长依赖关系能力。

简而言之,“大海捞针”中插入多个“针”就是插入多个线索,然后让大模型找到并串联推理多个线索,并获得最终答案。

但实际的“大海捞多针”测试中,模型并不需要找到所有“针”才能答对问题,甚至有时只需要找到最后一根就可以了。



但“数星星”则不同——因为每句话中“星星”的数量都不一样,模型必须把所有星星都找到才能把问题答对

所以,虽然看似简单,但至少在多“针”任务上,“数星星”对模型长文本能力有着更为精准的体现。

那么,有哪些大模型最先接受了“数星星”测试呢?

GPT-4与Kimi难分高下

参加这场测试的大模型分别是GPT-4和国内以长文本能力而知名的大模型Kimi。

在“星星”数量和文本粒度均为32时,GPT-4的准确率达到了96.8%,Kimi则有86.4%。



但当“星星”增加到64颗时,Kimi则以93.1%的准确率超过了准确率为89.7%的GPT-4.



减少到16时,也是Kimi的表现略胜于GPT-4。



而划分的颗粒度也会对模型的表现造成一些影响,在“星星”同样出现32次时,颗粒度从32变为16,GPT-4的成绩有所上升,而Kimi则有所下降。



需要注意的是,在以上的测试中,“星星”的数量是依次递增的,但研究人员很快发现,这种情况下大模型很喜欢“偷懒”——

当模型发现星星数量是递增的的时候,即使区间内的数字是随机生成,也会引起大模型的敏感度增加。

例如:模型对3、9、10、24、1145、114514这样的递增序列会比24、10、3、1145、9、114514更加敏感

所以,研究人员又特意将数字的顺序进行了打乱,重新进行了一次测试。



结果在打乱之后,GPT-4和Kimi的表现都出现了明显下降,不过准确率仍在60%以上,两者相差8.6个百分点。



One More Thing

这个方法的准确性可能还需要时间检验,但不得不说名字起得真的很有一手。


△英文系同名歌曲Counting Stars歌词

网友也不禁感叹,现在关于大模型的研究,真的是越来越魔幻了。



但魔幻的背后,也体现出人们对于大模型长语境处理能力和性能的了解还不够充分。

就在前些天,先后有多家大模型厂商宣布推出能够处理超长文本的模型(虽然不全是基于上下文窗口实现),最高可达上千万,但实际表现还是未知数。

而Counting Stars的出现,或许正好有助于我们了解这些模型的真实表现。

那么,你还想看看哪些模型的测试成绩呢?

论文地址:
https://arxiv.org/abs/2403.11802
GitHub:
https://github.com/nick7nlp/Counting-Stars

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
外企开始大批量采购小米汽车,网友呼吁小米别给那些外企插队

外企开始大批量采购小米汽车,网友呼吁小米别给那些外企插队

映射生活的身影
2024-05-28 16:52:45
弘一法师:开悟了,你才发现,世界万物,皆是反着来!

弘一法师:开悟了,你才发现,世界万物,皆是反着来!

书中自有颜如玉
2024-05-22 08:16:19
痛惜!山西知名餐饮公司董事长逝世,享年57岁...

痛惜!山西知名餐饮公司董事长逝世,享年57岁...

山西达人
2024-05-29 11:23:43
阿司匹林再添新用!JAMA最新:仅低剂量服用,能使肝脏脂肪减少10.2%、糖尿病风险降15%!

阿司匹林再添新用!JAMA最新:仅低剂量服用,能使肝脏脂肪减少10.2%、糖尿病风险降15%!

梅斯医学
2024-05-28 07:32:11
泰离谱!85岁佛寺住持承认吮吸9岁男童丁丁,村民表示依然尊敬他

泰离谱!85岁佛寺住持承认吮吸9岁男童丁丁,村民表示依然尊敬他

一个岛岛
2024-05-28 23:13:20
事态升级!男子一脚踢晕女子离去,目击者还原现场,恐面巨额赔偿

事态升级!男子一脚踢晕女子离去,目击者还原现场,恐面巨额赔偿

水泥土的搞笑
2024-05-28 20:12:51
尼克-杨:林书豪不知怎么惹了科比 科比整个赛季都没和他说一句话

尼克-杨:林书豪不知怎么惹了科比 科比整个赛季都没和他说一句话

直播吧
2024-05-29 16:04:07
安徽坍塌事故,赔偿金或是天文数字,承建方赔不起,最后谁兜底?

安徽坍塌事故,赔偿金或是天文数字,承建方赔不起,最后谁兜底?

金哥说新能源车
2024-05-29 11:24:18
王朔:我们恨贪官,又拼命考公务员,嘲讽不正之风,却忙着找关系

王朔:我们恨贪官,又拼命考公务员,嘲讽不正之风,却忙着找关系

铁山学者
2024-05-28 07:45:51
终于,上海也脱光了!

终于,上海也脱光了!

地产八卦女
2024-05-27 22:34:28
汪峰情敌再发声:我爱森林北,已购买10亿婚房,汪峰横刀夺爱!

汪峰情敌再发声:我爱森林北,已购买10亿婚房,汪峰横刀夺爱!

鑫鑫说说
2024-05-29 11:47:32
一男子嫖娼被赶出门外,小姐称:吃药过来的,没把我当人

一男子嫖娼被赶出门外,小姐称:吃药过来的,没把我当人

传情说事局
2024-05-27 21:40:50
太荒唐!湖南高校一领导酒后离世,学校回应属实,网友纷纷不敢信

太荒唐!湖南高校一领导酒后离世,学校回应属实,网友纷纷不敢信

天气观察站
2024-05-29 09:05:55
闹大了,“一个班的几乎全是考公务员的”冲上热搜,评论区炸锅了

闹大了,“一个班的几乎全是考公务员的”冲上热搜,评论区炸锅了

王姐懒人家常菜
2024-05-29 02:27:54
养了个“祖宗”!广东父亲怒为高三儿子办退学:就当19年做慈善了

养了个“祖宗”!广东父亲怒为高三儿子办退学:就当19年做慈善了

青栀伊人
2024-05-22 22:09:47
男子入狱10年,只有妹妹探望给他钱看病,出狱后他把妹妹送进监狱

男子入狱10年,只有妹妹探望给他钱看病,出狱后他把妹妹送进监狱

华人星光
2024-05-28 15:38:07
娘家拆迁270万没分我,母亲过寿我不去,隔天弟弟带来一份文件​

娘家拆迁270万没分我,母亲过寿我不去,隔天弟弟带来一份文件​

拾代谈生活
2024-05-29 08:04:31
媒体人:辽宁男篮已完成和周琦团队的第一次谈判

媒体人:辽宁男篮已完成和周琦团队的第一次谈判

懂球帝
2024-05-28 20:32:10
36岁白百何离婚5年后逆袭,背万元奢侈包坐地上,一个手机壳500块

36岁白百何离婚5年后逆袭,背万元奢侈包坐地上,一个手机壳500块

会火
2020-12-26 16:06:42
四川男子相亲现场,女子当场提出要30万彩礼,男子:根本娶不起

四川男子相亲现场,女子当场提出要30万彩礼,男子:根本娶不起

佑宛故事汇
2024-05-28 14:02:40
2024-05-29 16:50:44
量子位
量子位
追踪人工智能动态
9453文章数 175295关注度
往期回顾 全部

科技要闻

王传福再放狠话,燃油车要成“非主流”

头条要闻

西北大学博士招生被质疑"空降"本校考生 学院:正调查

头条要闻

西北大学博士招生被质疑"空降"本校考生 学院:正调查

体育要闻

巴黎主席向皇马索要8000万 佛爷:1分不给

娱乐要闻

张若昀怎么剧外比剧内更惨兮兮…

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

新哈弗H6苦练内功 向燃油车绝缘智能SAY NO

态度原创

本地
教育
家居
公开课
军事航空

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

教育要闻

盈亏问题,买7把琴钱差110元,买5把琴钱差30元,共带多少钱?

家居要闻

与美共生 空间线条勾勒生活风雅

公开课

近视只是视力差?小心并发症

军事要闻

美国一架F-35坠毁 飞行员弹射逃生被送医

无障碍浏览 进入关怀版