北京
分享至
【网易科技1月29日报道】今日，百川智能发布超千亿参数的大语言模型Baichuan 3。据介绍，Baichuan 3在多个英文评测中有不错的表现，同时在CMMLU、GAOKAO、HumanEval和MBPP等多个中文评测榜单上，展现了其在中文任务上的优势。
据了解，在MT-Bench、IFEval等对齐榜单的评测中，Baichuan 3超越了GPT-3.5、Claude等大模型。百川智能也在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案，提升了Baicuan 3的各项能力。
为了注入医疗知识，百川智能模型在预训练阶段利用超过千亿Token的医疗数据集，覆盖了从理论到实际操作的各个方面的医学知识。强化学习训练框架方面，百川智能研发了PPO训练框架，提高了模型训练效率。在唐诗宋词创作中，Baichuan 3结合“RLHF&RLAIF”以及迭代式强化学习，使其在文学创作方面的能力进一步提升。（江淼）
本文系网易科技原创报道，更多新闻资讯和深度解析，关注我们。
本文来源：网易科技报道
责任编辑：
崔玉贤_NB5179
