北京
分享至
6月9日，小红书宣布开源其首个自研大模型dots.llm1，包含1420亿参数的混合专家模型（MoE）和11.2万亿token的高质量训练数据。该模型在部分性能上与阿里Qwen 3模型相当，尤其在中文任务中表现出色，例如在CLUEWSC上取得92.6分，达到业界领先水平。小红书通过引入Interleaved 1F1B with AlltoAll overlap和Grouped GEMM优化，显著提升了计算效率。未来，小红书hi lab团队计划进一步优化模型架构，探索更稀疏的混合专家（MoE）层，并为社区贡献更多全模态大模型。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
