谷歌Gemma 4系列最近放出一组让人意外的数据。最小的1.5GB版本在竞赛级数学测试里拿到37.5%的准确率,这个体积通常连基础推理都吃力。
关键在MoE架构的路由机制。不是每层都激活全部参数,而是动态选择专家子网络。小模型靠这个 trick 用更少显存干更重的活。
![]()
选型建议很现实:本地跑看显存,云端部署看吞吐量。1.5GB适合边缘设备,17B版本才是生产环境的安全牌。完整技术细节已公开。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.