网易首页 > 网易号 > 正文 申请入驻

大模型总结摘要靠谱吗?比人类写的流畅,用GPT-4幻觉还少

0
分享至

机器之心报道

编辑:陈萍

以后文本摘要总结任务,可以放心交给大模型了。

文本摘要,作为自然语言生成(NLG)中的一项任务,主要用来将一大段长文本压缩为简短的摘要,例如新闻文章、源代码和跨语言文本等多种内容都能用到。

随着大模型(LLM)的出现,传统的在特定数据集上进行微调的方法已经不在适用。

我们不禁会问,LLM 在生成摘要方面效果到底如何?

为了回答这一问题,来自北京大学的研究者在论文《 Summarization is (Almost) Dead 》中进行了深入的探讨。他们使用人类生成的评估数据集评估了 LLM 在各种摘要任务(单条新闻、多条新闻、对话、源代码和跨语言摘要)上的表现。

在对 LLM 生成的摘要、人工撰写的摘要和微调模型生成的摘要进行定量和定性的比较后发现,由 LLM 生成的摘要明显受到人类评估者的青睐。

接着该研究在对过去 3 年发表在 ACL、EMNLP、NAACL 和 COLING 上的 100 篇与摘要方法相关的论文进行抽样和检查后,他们发现大约 70% 的论文的主要贡献是提出了一种总结摘要方法并在标准数据集上验证了其有效性。因此,本文表示「摘要(几乎)已死( Summarization is (Almost) Dead )」。

尽管如此,研究者表示该领域仍然存在挑战,例如需要更高质量的参考数据集、改进评估方法等还需要解决。



论文地址:https://arxiv.org/pdf/2309.09558.pdf

方法及结果

该研究使用最新的数据来构建数据集,每个数据集由 50 个样本组成。

例如在执行单条新闻、多条新闻和对话摘要任务时,本文采用的方法模拟了 CNN/DailyMail 、Multi-News 使用的数据集构建方法。对于跨语言摘要任务,其策略与 Zhu 等人提出的方法一致。关于代码摘要任务,本文采用 Bahrami 等人提出的方法。

数据集构建完成之后,接下来就是方法了。具体来说,针对单条新闻任务本文采用 BART 和 T5 ;多条新闻任务采用 Pegasus 和 BART;T5 和 BART 用于对话任务;跨语言任务使用 MT5 和 MBART ;源代码任务使用 Codet5 。

实验中,该研究聘请人类评估员来比较不同摘要的整体质量。结果如图 1 所示,LLM 生成的摘要在所有任务中始终优于人工生成的摘要和微调模型生成的摘要。



这就提出了一个问题:为什么 LLM 能够胜过人类撰写的摘要,而传统上人们认为这些摘要是完美无缺的。此外,经过初步的观察表明,LLM 生成的摘要表现出高度的流畅性和连贯性。

本文进一步招募注释者来识别人类和 LLM 生成摘要句子中的幻觉问题,结果如表 1 所示,与 GPT-4 生成的摘要相比,人工书写的摘要表现出相同或更高数量的幻觉。在多条新闻和代码摘要等特定任务中,人工编写的摘要表现出明显较差的事实一致性。



人工撰写的摘要和 GPT-4 生成摘要中出现幻觉的比例,如表 2 所示:



本文还发现人工编写的参考摘要存在这样一个问题,即缺乏流畅性。如图 2 (a) 所示,人工编写的参考摘要有时存在信息不完整的缺陷。并且在图 2 (b) 中,一些由人工编写的参考摘要会出现幻觉。



本文还发现微调模型生成的摘要往往具有固定且严格的长度,而 LLM 能够根据输入信息调整输出长度。此外,当输入包含多个主题时,微调模型生成的摘要对主题的覆盖率较低,如图 3 所示,而 LLM 在生成摘要时能够捕获所有主题:



由图 4 可得,人类对大模型的偏好分数超过 50%,表明人们对其摘要有强烈的偏好,并凸显了 LLM 在文本摘要方面的能力:

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄健翔:意甲各路英雄都已服了国米,小因扎吉正成为新一代名帅

黄健翔:意甲各路英雄都已服了国米,小因扎吉正成为新一代名帅

直播吧
2024-02-29 12:01:33
离岸人民币(CNH)兑美元北京时间05:59报7.2141元,较周二纽约尾盘跌2点

离岸人民币(CNH)兑美元北京时间05:59报7.2141元,较周二纽约尾盘跌2点

每日经济新闻
2024-02-29 06:13:18
卫报:英超有19队赞成,在25-26赛季启用欧足联式“支出帽”规定

卫报:英超有19队赞成,在25-26赛季启用欧足联式“支出帽”规定

直播吧
2024-02-29 11:08:32
CCTV5直播海港VS三镇!穆斯卡特率崇明6虎争首胜!武磊PK艾菲尔丁

CCTV5直播海港VS三镇!穆斯卡特率崇明6虎争首胜!武磊PK艾菲尔丁

刀锋体育
2024-02-28 16:36:39
朱老总是军委排名第一的副主席,为何他不主持中央军委会议?

朱老总是军委排名第一的副主席,为何他不主持中央军委会议?

陈冠任
2024-02-29 08:46:59
你敢相信照片上的这个女人已经56岁了吗?散发出浓浓的少女气息

你敢相信照片上的这个女人已经56岁了吗?散发出浓浓的少女气息

静静时光
2024-02-29 12:27:32
38岁工地大姐,酒醉后过夫妻生活,清醒后发现不是自己的丈夫

38岁工地大姐,酒醉后过夫妻生活,清醒后发现不是自己的丈夫

赵主任趣闻
2024-02-28 14:34:22
黄克诚复出工作后,为大批将帅平反过,为何唯独没能帮上粟裕

黄克诚复出工作后,为大批将帅平反过,为何唯独没能帮上粟裕

阿甘文史呀
2023-12-13 17:09:47
江西女子相亲,竟是初中同桌,女子:看我怎么收拾你

江西女子相亲,竟是初中同桌,女子:看我怎么收拾你

衷情苦
2024-02-28 10:05:38
比贵州山火还要可怕,六盘水女企业家的遭遇令人感到恐惧不安!

比贵州山火还要可怕,六盘水女企业家的遭遇令人感到恐惧不安!

巴城的城
2024-02-28 12:26:46
俄罗斯的兵,却不是俄罗斯的人?“蒙古人”为何成俄罗斯主要兵源

俄罗斯的兵,却不是俄罗斯的人?“蒙古人”为何成俄罗斯主要兵源

全民历史观
2024-02-27 18:25:08
乔治缺阵,快船领先14分!哈登梦回巅峰,詹眉组合尽力了

乔治缺阵,快船领先14分!哈登梦回巅峰,詹眉组合尽力了

一才说个球
2024-02-29 12:29:20
韦世豪说冬窗有几家俱乐部联系他,蓉城效率虽低但至少决心蛮大

韦世豪说冬窗有几家俱乐部联系他,蓉城效率虽低但至少决心蛮大

直播吧
2024-02-28 17:23:14
初一有25%的学生正在刷中考题和试卷。网友:现在补课的学霸最多

初一有25%的学生正在刷中考题和试卷。网友:现在补课的学霸最多

李老师讲最真教育
2024-02-28 21:01:06
茶位费风波再起!广东餐饮业遭质疑,官方回应亮了!

茶位费风波再起!广东餐饮业遭质疑,官方回应亮了!

深刻成考
2024-02-29 09:03:50
回温明显湿乎乎!冷空气已到广东,今夜将抵深!下周或再迎回南天……

回温明显湿乎乎!冷空气已到广东,今夜将抵深!下周或再迎回南天……

西莫的艺术宫殿
2024-02-29 12:44:48
民进党“中国事务部主任”称“台独”党纲已是历史文件,国台办回应

民进党“中国事务部主任”称“台独”党纲已是历史文件,国台办回应

环球网资讯
2024-02-28 11:44:13
国乒总教练大变动!肖战上位悬念揭晓,马琳被取代?

国乒总教练大变动!肖战上位悬念揭晓,马琳被取代?

拳击时空
2024-02-29 06:38:59
监狱里的姚文元,提了一个令人荒唐的要求,他还不知道属于自己的时代已经过去了

监狱里的姚文元,提了一个令人荒唐的要求,他还不知道属于自己的时代已经过去了

乡野小珥
2024-02-29 07:30:17
再现全力登!洛城德比半场湖人52-66落后快船,哈登半场18+4

再现全力登!洛城德比半场湖人52-66落后快船,哈登半场18+4

懂球帝
2024-02-29 12:22:33
2024-02-29 13:34:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
8738文章数 141822关注度
往期回顾 全部

科技要闻

学者:少吃饭能延缓衰老 这是目前最科学的

头条要闻

印度一航天发射场广告现中国国旗图案 莫迪狠批地方党

头条要闻

印度一航天发射场广告现中国国旗图案 莫迪狠批地方党

体育要闻

保罗也炮轰莫雷:他根本不会做人!

娱乐要闻

网传《浪姐5》最新名单:朱丹苗苗加入

财经要闻

搭上董明珠,王自如依旧难自如

汽车要闻

10.98-16.98万元 奇瑞iCAR 03纯电方盒子上市

态度原创

教育
数码
健康
时尚
亲子

教育要闻

湖南打骂学生的教师,学校处理结果出炉,网友:真是便宜她了!

数码要闻

小米蓝牙音箱 Mini 开售:支持澎湃智联,售价 229 元

帮你远离焦虑和失眠的5条有效建议

衣服不在多,会穿最重要!中年女人这样搭不显老,能焕发活力

亲子要闻

宝爸“崩了”自己,萌娃反应很意外,身后的宝妈才是亮点!

无障碍浏览 进入关怀版