北京
分享至
2021年，阿里巴巴达摩院推出M6多模态预训练模型，参数量从百亿级扩展到十万亿级，成为当时全球最大的中文多模态模型之一。
与GPT-3等纯文本模型不同，M6的核心设计是"多模态到多模态"——同一框架处理文本、图像、视频三种输入，输出也覆盖三种形态。训练数据来自淘宝电商场景：商品图文、直播视频、用户搜索query，总量超过60亿样本。
技术路线上，M6采用"模态解耦+层次化稀疏"设计。底层共享编码器，上层按任务分流，推理时只激活部分参数。这让十万亿参数模型的训练成本降至GPT-3的1%左右。
落地应用直接挂钩商业场景。M6支撑了淘宝"拍立淘"的图像搜索升级，也为阿里妈妈广告系统生成商品文案和营销视频。2022年后，M6技术栈并入通义千问系列，成为阿里云大模型产品的基础组件之一。
回看M6的定位，它并非追求通用智能，而是验证一个假设：在特定商业场景中，多模态预训练能否用更低成本替代碎片化的小模型。这个思路至今影响着国内大模型的产品化路径。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
