网易首页 > 网易号 > 正文 申请入驻

金融圈注意了!彭博研究人员刚推出BloombergGPT

0
分享至

ChatGPT引爆的AI热潮也“烧到了”金融圈,彭博社重磅发布为金融界打造的大型语言模型(LLM)——BloombergGPT。

3月30日,根据彭博社发布的研究报告显示,其构建了迄今为止最大的特定领域数据集,并训练了专门用于金融领域的LLM,开发了拥有500亿参数的语言模型——BloombergGPT。

该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务,在执行金融任务上的表现远超过现有模型,在通用场景上的表现与现有模型也能一较高下。

BloombergGPT到底有多强

根据彭博发布的报告来看BloombergGPT对金融行业来说无疑是一次颠覆性创新。

我们先来看一下BloombergGPT使用到的庞大数据集

研究人员利用彭博社现有的数据,对资源进行创建、收集和整理,构建了迄今为止最大的特定领域数据集,并创建了一个拥有超过7000亿个标签的大型训练语料库:

彭博作为金融数据公司,数据分析师在公司成立的四十年间收集了大量的金融材料,拥有丰富的金融数据档案,涵盖了一系列的主题。
我们将这些数据添加到公共数据集中,创建了一个拥有超过7000亿个标签的大型训练语料库。
BloombergGPT的训练数据库名为FINPILE,由一系列英文金融信息组成,包括新闻、文件、新闻稿、网络爬取的金融文件以及提取到的社交媒体消息。
为了提高数据质量,FINPILE数据集也使用了公共数据集,例如The Pile、C4和Wikipedia。FINPILE的训练数据集中约一半是特定领域的文本,一半是通用文本。为了提高数据质量,每个数据集都进行了去重处理。

利用庞大的数据集,并基于通用和金融业务的场景进行混合模型训练,BloombergGPT诞生了

一般来说,在NLP领域,参数数量和复杂程度之间具有正相关性,GPT-3.5模型的参数量为2000亿,GPT-3的参数量为1750亿。

根据BloombergGPT的训练结果显示,其在执行金融任务上的表现远超过现有的模型,且在通用场景上的表现与现有模型也能一较高下。


BloombergGPT优势:不可替代性和准确性

当下,通用NPL模型也可以处理金融领域的任务,那为金融圈“量身定制”的模型究竟有何意义?

彭博认为,针对特定领域模型有其不可替代性且彭博的数据来源可靠

因彭博社的大多数应用均为金融领域,着手构建了一个针对金融领域的模型具有优势。
除了构建金融领域的LLM外,本文的经验也为其他研究专用模型提供了参考。我们的方法是在特定领域和一般数据源上训练LLM,以开发在特定领域和通用领域上均表现优异的模型。
此外,我们的训练数据不同于传统的网络爬取数据,网络上的数据总有重复和错误,但我们的数据来源可靠

而更重要的是,报告指出,通用NLP模型处理金融领域任务时会面临不少挑战,首先就是无法理解财经新闻背后的市场“情绪”:

以情感分析为例,一个题为“某公司将裁员1万人”,在一般意义上表达了负面情绪,但从金融市场情绪来看,它有时可能被认为是积极的,因为这一做法可能提振投资者信心,使公司的股价上涨。

从测试来看,BloombergGPT在五项任务中有四项(ConvFinQA,FiQA SA,FPB和Headline)表现最佳NER(Named Entity Recognition)排名第二:

测试一:ConvFinQA数据集是一个针对金融领域的问答数据集,包括从新闻文章中提取出的问题和答案,旨在测试模型对金融领域相关问题的理解和推理能力。
测试二:FiQA SA,第二个情感分析任务,测试英语金融新闻和社交媒体标题中的情感走向。
测试三:FPB,金融短语库数据集包括来自金融新闻的句子情绪分类任务。
测试四:标题,数据集包括关于黄金商品领域的英文新闻标题,来判断新闻标题是否包含特定信息,例如价格上涨或价格下跌等。
测试五:NER,命名实体识别任务,针对从提交给SEC的金融协议中收集金融数据,进行信用风险评估。
对于ConvFinQA来说,这个差距尤为显著,因为它需要使用对话式输入来对表格进行推理并生成答案,具有一定挑战性。

(注:GPT-NeoX为OpenAI GPT-3的一个开源替代品)
BloombergGPT将助力新闻领域

既然BloombergGPT测试中的表现如此优异,那未来可以怎么用?

除了金融数据查询、回答金融相关问题,BloombergGPT未来可以被新闻领域广泛使用:

BloombergGPT训练是以众多新闻为基础的,因此它未来将协助记者日常工作。
记者需要为每个部分编写简短的标题,专门为此任务设计的模型维护成本太高,但BloombergGPT在这个方面表现优异。
可以利用BloombergGPT更好的查询金融相关的知识。
如,BloombergGPT能够很好地辨别公司的CEO。(虽然BloombergGPT正确地识别了CEO,GPT-NeoX出现了错误,FLAN-T5-XXL则完全未能识别)。

对于这个或将颠覆金融圈的大型语言模型,部分网友并不买账,有人认为彭博此次只发布报告,不发布模型,颇有些“雷声大雨点小”之意。

也有网友认为,彭博赶在愚人节之前发布,可能在“骗人”。

ChatGPT为彭博点赞

部分网友不买账,那ChatGPT怎么看?

华尔街见闻就这件事专门询问了ChatGPT,ChatGPT认为BloombergGPT是一项很有意义的技术进步:

它是专门为金融领域开发的一种语言模型,可以更好地处理金融领域的数据和任务,并且在金融领域的基准测试中表现出色。
这将有助于金融从业者更好地理解和应用自然语言处理技术,促进金融科技的发展。同时,BloombergGPT还可以为其他领域的语言模型的发展提供参考和借鉴。总的来说,BloombergGPT是一个有益的技术创新。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
52岁阿姨血脂从7.4到1.2,分享:降血脂不是多运动,而是这2件事

52岁阿姨血脂从7.4到1.2,分享:降血脂不是多运动,而是这2件事

讲故事的大翠花花
2024-03-26 08:53:16
菲律宾总统:将对中国在南中国海攻击行为予以反制措施

菲律宾总统:将对中国在南中国海攻击行为予以反制措施

花尔街之狼
2024-03-28 17:51:17
赌王女儿瘦身成功,首次露面,曾未婚先孕带14亿嫁妆

赌王女儿瘦身成功,首次露面,曾未婚先孕带14亿嫁妆

美美娱乐
2024-03-27 23:53:45
新能源汽车未来能主要依靠换电吗?

新能源汽车未来能主要依靠换电吗?

澎湃新闻
2024-03-27 23:10:27
湖南一医生出轨,妻子带父母抓人,进门后母亲痛哭:怎么是你

湖南一医生出轨,妻子带父母抓人,进门后母亲痛哭:怎么是你

佳琪Feeling
2024-03-27 16:41:19
西装你为什么穿不出"陈桂林"的高级感

西装你为什么穿不出"陈桂林"的高级感

蚂蚁八卦撼大树
2024-03-24 21:45:42
东莞一镇党委委员被查!多名同僚已落马,其中有两任镇委书记

东莞一镇党委委员被查!多名同僚已落马,其中有两任镇委书记

南方都市报
2024-03-28 10:33:59
中美关系有望破冰!今日的五大消息冲击股市

中美关系有望破冰!今日的五大消息冲击股市

逆潮流财经
2024-03-29 00:05:15
因30万彩礼分手,女方:家里有2个弟弟和病重的爸爸。评论区炸锅

因30万彩礼分手,女方:家里有2个弟弟和病重的爸爸。评论区炸锅

书中自有颜如玉
2024-03-28 11:15:36
3月28日俄乌:制裁让俄经济承压,乌克兰不顾反对继续袭击俄本土

3月28日俄乌:制裁让俄经济承压,乌克兰不顾反对继续袭击俄本土

山河路口
2024-03-28 17:25:34
清明节祭祖3种水果不要带,是上坟最大的禁忌,一旦触犯非常危险

清明节祭祖3种水果不要带,是上坟最大的禁忌,一旦触犯非常危险

小鱼滑
2024-03-27 23:12:59
小米汽车一车未卖,但已经赚了1323.9万!卖工服都是小钱!

小米汽车一车未卖,但已经赚了1323.9万!卖工服都是小钱!

户外小阿隋
2024-03-28 13:28:10
普京:俄公民在阅读时间方面排名世界第二,排名第一是中国

普京:俄公民在阅读时间方面排名世界第二,排名第一是中国

环球网资讯
2024-03-28 14:19:14
国台办表态后,朱立伦突然出国,港媒爆料:有人要接力马英九访陆

国台办表态后,朱立伦突然出国,港媒爆料:有人要接力马英九访陆

说天说地说实事
2024-03-28 15:11:30
发型不能乱,李铁在庭审中的发型与此前在纪录片中的并无二致

发型不能乱,李铁在庭审中的发型与此前在纪录片中的并无二致

懂球帝
2024-03-29 00:45:15
老杜突然公布中菲君子协议,仁爱礁局势大反转了,马科斯求锤得锤

老杜突然公布中菲君子协议,仁爱礁局势大反转了,马科斯求锤得锤

说天说地说实事
2024-03-28 11:07:33
【比特日报】华尔街突发!Coinbase、KuCoin大型交易所遇“突袭” 比特币失守7万大关

【比特日报】华尔街突发!Coinbase、KuCoin大型交易所遇“突袭” 比特币失守7万大关

FX168链界观察
2024-03-28 11:40:55
西部彻底乱了!3队争第一,5队争第四,火箭10连胜竟原地不动

西部彻底乱了!3队争第一,5队争第四,火箭10连胜竟原地不动

篮坛扒客
2024-03-28 14:34:31
最便宜 8 Gen3 手机来了,这价格杀疯了

最便宜 8 Gen3 手机来了,这价格杀疯了

果粉俱乐部
2024-03-15 12:08:40
俄欧洲部分炼油厂全遭炸,乌克兰今年生产至少1.8万远程无人机

俄欧洲部分炼油厂全遭炸,乌克兰今年生产至少1.8万远程无人机

移光幻影
2024-03-26 18:30:42
2024-03-29 01:28:49
华尔街见闻官方
华尔街见闻官方
中国领先的金融商业信息提供商
109339文章数 2629084关注度
往期回顾 全部

科技要闻

李斌李想何小鹏喊你买小米汽车

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

詹姆斯场边惊叹!16年前今天 疯三库里连续3场30+杀入精英8强

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

家居
数码
教育
健康
公开课

家居要闻

邂逅浪漫,注入柔性的法式基因

数码要闻

小米汽车SU7发布:Max零百2.78s 售价21.59万元起

教育要闻

如何让孩子自觉主动写作业?这是我见过最好的建议

早防早筛,远离肝硬化

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版