上海
分享至
今日（2月12日）A股市场，豆包概念股午后大幅走强，创业板汉得信息拉升封板，广和通、移远通信、润欣科技、博通集成等纷纷大幅冲高。
同花顺iFinD
消息面上，2月12日，豆包大模型团队在其公号发布文章《全新超稀疏架构，推理成本较MoE最高可降83%》。文章称，近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。
文章称，该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。实验结果表明，训练规模达2000万value的UltraMem模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模value或expert开辟了新路径。
公众号"豆包大模型团队"
本文系观察者网独家稿件，未经授权，不得转载。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
