网易首页 > 网易号 > 正文 申请入驻

0门槛免费商用!孟子3-13B大模型正式开源,万亿token数据训练

0
分享至

白交 发自 凹非寺
量子位 | 公众号 QbitAI

澜舟科技官宣:孟子3-13B大模型正式开源!

这一主打高性价比的轻量化大模型,面向学术研究完全开放,并支持免费商用。



在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中,孟子3-13B都表现出了不错的性能。

尤其在参数量20B以内的轻量化大模型领域,在中英文语言能力方面尤为突出,数学和编程能力也位于前列。



据介绍,孟子3-13B大模型是基于Llama架构,数据集规模高达3T Tokens

语料精选自网页、百科、社交、媒体、新闻,以及高质量的开源数据集。通过在万亿tokens上进行多语言语料的继续训练,模型的中文能力突出并且兼顾多语言能力。

孟子3-13B大模型开源

只需两步,就能使用孟子3-13B大模型了。

首先进行环境配置。

pipinstall-rrequirements.txt

然后快速开始。

importtorch
fromtransformersimportAutoModelForCausalLM, AutoTokenizer
tokenizer =
AutoTokenizer.from_pretrained("Langboat/Mengzi3-13B-Base", use_fast=False, trust_remote_code=True)
model =
AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-13B-Base", device_map="auto", trust_remote_code=True)
inputs = tokenizer('指令:回答以下问题。输入:介绍一下孟子。输出:', return_tensors='pt')
iftorch.cuda.is_available():
inputs = inputs.to('cuda')
pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(pred[0], skip_special_tokens=True))

此外,他们还提供了一个样例代码,可用于基础模型进行单轮交互推理。

cdexamples
python examples/base_streaming_gen.py --model model_path --tokenizer tokenizer_path

如果想要进行模型微调,他们也提供了相关文件和代码。



事实上,早在3月18日的澜舟大模型技术和产品发布会现场,就透露了孟子3-13B大模型的诸多细节。

当时他们表示,孟子3-13B大模型训练已经完成。

对于选择13B版本的原因,周明解释道:

首先,澜舟明确以服务ToB场景为主,ToC为辅。

实践发现,ToB场景使用频率最高的大模型参数量多为7B、13B、40B、100B,整体集中在10B-100B之间。

其次,在这个区间范围内,从ROI(投资回报率)角度来讲,既满足场景需求,又最具性价比。

因此,在很长一段时间内,澜舟的目标都是在10B-100B参数规模范围内,打造优质的行业大模型。

作为国内最早一批大模型创业团队,去年3月,澜舟就发布了孟子GPT V1(MChat)。

今年1月,孟子大模型GPT V2(含孟子大模型-标准、孟子大模型-轻量、孟子大模型-金融、孟子大模型-编码)对公众开放。



好了,感兴趣的朋友可戳下方链接体验一下。

GitHub链接:
https://github.com/Langboat/Mengzi3
HuggingFace:
https://huggingface.co/Langboat/Mengzi3-13B-Base
ModelScope:
https://www.modelscope.cn/models/langboat/Mengzi3-13B-Base
Wisemodel:
https://wisemodel.cn/models/Langboat/Mengzi3-13B-Base

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为啥满大街的电动车,偷车贼却不偷了?有下几个原因

为啥满大街的电动车,偷车贼却不偷了?有下几个原因

吃货的分享
2024-05-21 08:19:09
万科倒不了了

万科倒不了了

地产大爆炸
2024-05-20 20:00:50
“中国企业毁了我们的家园”:塞尔维亚妇女携手反抗工业巨头

“中国企业毁了我们的家园”:塞尔维亚妇女携手反抗工业巨头

日新说Copernicium
2024-05-15 18:08:58
津媒:伊万不认为赢泰国就算完成任务了,客战韩国也非常重要

津媒:伊万不认为赢泰国就算完成任务了,客战韩国也非常重要

懂球帝
2024-05-21 09:16:16
莱希空难:北大痛失好教授师生该有多悲痛?他还是一名反腐斗士

莱希空难:北大痛失好教授师生该有多悲痛?他还是一名反腐斗士

大风文字
2024-05-21 06:21:53
以色列女通讯兵退役嫁中国小伙,现定居上海:为成为中国媳妇骄傲

以色列女通讯兵退役嫁中国小伙,现定居上海:为成为中国媳妇骄傲

汉江忆史
2024-05-20 18:14:44
克里姆林宫发言人佩斯科夫答复伊朗为何没有邀请俄方派人参加葬礼

克里姆林宫发言人佩斯科夫答复伊朗为何没有邀请俄方派人参加葬礼

探索星空
2024-05-21 13:54:06
非法收受巨额钱款!福建一干部被“双开”(附简历)

非法收受巨额钱款!福建一干部被“双开”(附简历)

鲁中晨报
2024-05-20 20:07:10
10月7日被哈马斯恐怖分子绑架22岁年轻女子的遗体已被发现

10月7日被哈马斯恐怖分子绑架22岁年轻女子的遗体已被发现

老马拉车莫少装
2024-05-18 02:33:24
重磅!农业部长落马

重磅!农业部长落马

顾子明说
2024-05-20 15:57:38
大学小姐姐日常

大学小姐姐日常

阿芒娱乐说
2024-05-21 13:02:21
复牌撤销ST,股价从19元跌到0.97元,4.6万股东等来一字天花板

复牌撤销ST,股价从19元跌到0.97元,4.6万股东等来一字天花板

惜别的海岸
2024-05-21 12:15:10
余承东透露鸿蒙智行第四品牌:目标远超迈巴赫劳斯莱斯

余承东透露鸿蒙智行第四品牌:目标远超迈巴赫劳斯莱斯

手机中国
2024-05-21 09:24:05
财政部:1—4月全国一般公共预算收入80926亿元 同比下降2.7%

财政部:1—4月全国一般公共预算收入80926亿元 同比下降2.7%

财联社
2024-05-20 16:31:16
36万/㎡!温州前首富这次捅破了上海风貌别墅的天花板?

36万/㎡!温州前首富这次捅破了上海风貌别墅的天花板?

地产人言
2024-05-20 12:15:21
中美导弹差距拉大?美国导弹15万枚不止,中国的导弹到底有多少?

中美导弹差距拉大?美国导弹15万枚不止,中国的导弹到底有多少?

战域笔墨
2024-05-20 13:08:57
熊光楷上将讲了一个故事,陈毅的儿子陈昊苏说,那不是真的

熊光楷上将讲了一个故事,陈毅的儿子陈昊苏说,那不是真的

冰点历史
2024-05-20 08:58:19
美国放出狠话:若中国“武力收台”,美军会马上摧毁中国核武器库

美国放出狠话:若中国“武力收台”,美军会马上摧毁中国核武器库

奇点使者
2024-03-19 20:10:03
非洲最大工业国,电荒?

非洲最大工业国,电荒?

地缘谷
2024-05-19 20:13:10
63岁伊朗总统坠机身忙,搭乘美国212直升机,以色列发文嘲讽

63岁伊朗总统坠机身忙,搭乘美国212直升机,以色列发文嘲讽

小浣熊社会酱
2024-05-20 13:31:59
2024-05-21 14:38:44
量子位
量子位
追踪人工智能动态
9422文章数 175289关注度
往期回顾 全部

科技要闻

理想业绩下滑:纯电车跳票 好日子告一段落

头条要闻

检察官自称诬陷了一名公安局副局长 致其获刑2年6个月

头条要闻

检察官自称诬陷了一名公安局副局长 致其获刑2年6个月

体育要闻

兄弟们,为了我,拿下冠军吧!

娱乐要闻

杨洋乔欣聊天记录曝光!还牵扯张天爱

财经要闻

重营销轻研发 “扫地茅”股价已跌去78%

汽车要闻

四排八座纯电MPV/续航超过800km 翼真L380开启预订

态度原创

家居
时尚
本地
手机
健康

家居要闻

生活蜕变 简约理念雕刻理想居所

夏天穿衣没有头绪?来看看50岁女性的搭配模板,气质素雅干净

本地新闻

强制措施展铁腕 “交叉执行”勇亮剑

手机要闻

HTC One X怀旧体验:这款手机就就像是HTC命运的缩影

在中国,到底哪些人在吃“伟哥”?

无障碍浏览 进入关怀版