IDEA研究院Ziya2-13B大模型在魔搭社区开源首发

10月16日消息，IDEA研究院（粤港澳大湾区数字经济研究院）CCNL封神榜团队开源中文基座模型Ziya2-13B-Base及其对话模型Ziya2-13B-Chat，两款模型均完全免费、可商用，已在魔搭社区ModelScope首发上架。

三个月前，Meta开源Llama2系列大模型，包括7B、13B、70B等多个版本，它们均基于超过2万亿tokens数据集训练而成。封神榜团队在Llama2-13B的基础上，进行了650B tokens自建高质量中英文数据集的继续训练，最终训练出Ziya2-13B系列模型，弥补Llama2中文能力不足的问题。

今年5月，封神榜团队曾基于LLaMA一代推出了Ziya-LLaMA-13B模型并开源，迅速成为LLaMA生态里最好的中文基座模型。相较于Ziya-LLaMA-13B，Ziya2-13B-Base的初始训练loss值更低，训练速度提升38%，还解决了训练后期不稳定的问题。

评测结果显示，Ziya2-13B-Base模型在中文、英文、数学、代码等下游理解任务上的表现均明显优于Llama2-13B和Ziya-LLaMA-13B。

依托于Ziya2-13B-Base强大的基础能力，封神榜团队优化了SFT阶段的训练策略，在300B tokens 预训练的Ziya2-13B-Base模型基础上，使用约40万指令样本和8K上下文窗口，训练出对话模型Ziya2-13B-Chat。此外，还在数万条高质量人类偏好数据训练的奖励模型上，针对多种问答、写作以及安全任务进行了强化学习训练，使Ziya2-13B-Chat模型的输出更贴合人类偏好，具有更高的安全性。

评测结果显示，Ziya2-13B-Chat模型与Ziya-LLaMA-13B-v1.1模型在side-by-side评测下取得了66.5%的胜率，相较于人类反馈强化学习前的版本取得了58.4%的胜率。

魔搭社区基于Ziya2-13B-Chat模型开发了体验接口，普通用户可以直接体验或使用模型；魔搭公众号也推出了最佳实践教程，提前跑通模型的部署、推理和微调，供开发者参考。

作为魔搭社区的重要合作伙伴，封神榜团队开源的系列大模型都把魔搭作为首发平台，这些模型也在开发者群体中广受欢迎。

阿里云魔搭是国内规模最大、开发者最活跃的AI模型社区，已聚集国内30多家头部人工智能机构贡献的1200多款优质AI模型，并提供一站式的模型体验、下载、推理、调优、定制等服务，模型总下载量已突破 8500万次。