中国青年报客户端讯(中青报·中青网记者 尹希宁)1月28日,智源多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊Nature。这是我国科研机构主导的大模型成果首次在Nature正刊发表。
2018年以来,GPT采用“预测下一个词元(Next-token prediction)”的自回归路线,实现了语言大模型重大突破,开启了生成式人工智能浪潮。
而多模态模型主要依赖对比学习、扩散模型等专门路线,自回归路线是否可以作为通用路线统一多模态?一直是未解之谜。智源这项成果表明,只采用自回归路线,就可以统一多模态学习,训练出优秀的原生多模态大模型,对于确立自回归成为生成式人工智能统一路线具有重大意义。
Nature编辑点评,Emu3仅基于“预测下一个词元”,实现了大规模文本、图像和视频的统一学习,其在生成与感知任务上的性能可与使用专门路线相当,这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
记者从智源研究院了解到,Emu系列模型自2022年启动研发以来,围绕“原生多模态”这一核心技术主线持续迭代,每一个版本都在关键能力与方法论上实现了实质性突破。
![]()
1月28日,智源多模态大模型成果上线国际顶级学术期刊Nature。期刊截图
来源:中国青年报客户端
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.