北京
分享至
参数是堆出来的，但一下子堆到2.8万亿，你硬盘都还没准备好。月之暗面今天直接把这头“巨兽”的模型权重、训练代码和数据集文档放到了开源社区。
2.8万亿什么概念？举个不严谨的栗子：如果每个参数喝一滴水，你得一水库才够。目前市面上大部分能打的开源模型还停留在百亿到两三千亿级别，万亿本就是游戏规则改写区，这次直接翻倍。
参数等于模型的“神经元”数量，账面上能带来更强的记忆容量和推理能力。但请别光看数字高潮——推理一张嘴、显卡跑断腿。跑得动它，你可能需要等最新的八卡主机，还得调好显存顺序，不然直接OOM。
月之暗面这次没有搞“开源做样子”，模型权重是可以下载的。目前没有放出权威Benchmark，但敢把这么大东西放出来，至少说明工程上已经趟过了无数次炸显存的夜。建议想尝鲜的同学先把硬盘清出300G，然后泡杯咖啡慢慢等下载。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
