百度CTO王海峰、微软亚研院刘树杰同台：大模型下一战

来源：市场资讯

（来源：智东西）

智东西

作者 陈佳

编辑 云鹏

智东西7月7日报道，昨日，中国中文信息学会把学界教授、企业负责人和投资人拉到了同一张桌子上，联合联想控股、中科院软件研究所等单位，成立了产学研创新生态工作委员会（下称“工委会”）。

联想控股CEO于浩出任工委会首任主任。过去产学研的典型路径是“成果后转化”，即科研机构先做出成果，再找市场。于浩认为，现在要转向“协同前创新”，让产业端从研发阶段就加入，资金同步跟进，形成闭环。

会上，百度CTO、中国中文信息学会副理事长王海峰发表“原生全模态大模型”主题演讲。他认为大模型不能停留在ASR、LLM、TTS等模块级联，或视觉、语言模型的架构拼接，关键是把文本、音频、图片、视频统一成离散Token，在共享表示空间和自回归框架下建模。AI竞争已从单模型能力走向工程平台、算力适配和产业落地的系统能力。

微软亚洲研究院首席研究员刘树杰作圆桌引导报告，他从VALL-E的语音离散化路线讲到多模态大模型，并认为当前多模态大模型推理弱、鲁棒性差，根源不在于模态叠加得不够多，而在于模态没有真正对齐。

在随后的圆桌环节中，拓尔思董事长、中国中文信息学会监事施水才说，过去产学研的线性转化路径已经太慢，现在必须并联融合；科学家创业不能“既要又要”，团队必须互补。北京前沿国际人工智能研究院理事长、英诺科创基金合伙人王晟认为：“VC投的不是科学家，是有科技基因的企业家。”他判断，绝大多数教授只能做首席科学家，能当CEO的是极少数。

联想控股副总裁纪朝峰坦言“最怕院士创业”，因为在学术圈习惯了权威，“谁敢提管理意见？”。而00后魔芯科技创始人、在读博士陈天润则提供了一个反直觉的观察：在大模型等前沿方向，真正推动技术进展的往往不是导师，而是亲手做实验的博士生。

一、百度CTO王海峰：大模型从多模态拼接走向原生全模态

王海峰是国家卓越工程师、百度首席技术官，也是深度学习技术及应用国家工程研究中心主任、中国中文信息学会副理事长。在这场演讲里，他把人工智能的下一个关键方向放在“原生全模态”上。

他先把现有多模态路线分成两类：一类是系统层级的级联，比如语音对话系统里ASR把语音转文字、LLM做推理、TTS再合成语音。另一类是模型内部的架构拼接，通过跨模态对齐模块连接视觉和语言模型。问题在于，这两种方式都容易带来信息损耗、表示空间不统一、跨模态对齐困难等问题。

所谓原生全模态，是让文本、音频、图片、视频等输入和输出都进入一个统一模型框架，而不是让多个独立模块在外部接力。在文心大模型5.0的设计中，多模态输入被序列化为统一的离散Token，映射到共享表示空间，再在自回归Transformer主干上以“下一Token预测”一类统一目标进行建模。

王海峰提到，文心尝试用弹性预训练（Once-For-All）一次训练多种规格子模型，以适应不同算力、延迟和成本约束。其还用超稀疏MoE和动态路由在“容量”和“效率”之间找平衡，专家激活率低于3%。文心在语音上用多层Codec Token完成理解和生成，在视觉上把图片视作单帧视频，将图片与视频统一为视觉Token序列。

他还提到了后训练和工程平台侧的几个关键点：用训推一致的强化学习后训练保障稀疏MoE稳定收敛；用多教师在线策略蒸馏降低不同能力相互干扰；用FlashMask面向复杂掩码的高效注意力计算，降低长上下文和多模态异构输入带来的算力压力。在底层适配上，飞桨深度学习框架已覆盖60多个系列芯片，覆盖主流国产人工智能芯片。

大模型竞争不只是单点模型参数或榜单名次，而是统一建模、工程平台、多硬件适配和应用落地的组合能力。王海峰认为，人工智能技术及产业创新依赖大规模数据和工程平台，需要产学研共同凝练真问题，建立更有耐心、有容错空间的创新环境。

二、微软研究员刘树杰：多模态不是把模态加进来，而是把表示对齐

刘树杰是微软亚洲研究院首席研究员，长期从事自然语言处理、语音处理和机器学习研究。他的研究成果已应用到Microsoft Translator、Skype Translator、Microsoft IME和微软语音服务等产品中。

他以VALL-E为例讲了一条把语音当作语言建模的路径。传统文本到语音（TTS）任务，可以被改写为在离散神经音频编解码Token上的条件语言建模。一旦语音变成Token序列，就能借用大语言模型的训练思路，实现零样本个性化TTS、语音编辑和更富有表现力的语音生成。

后续VALL-E X进一步做到跨语言零样本TTS，让用户可以用自己的声音说外语。VALL-E 2则把零样本TTS效果推到更接近人类水平。

刘树杰对多模态大模型的判断是，纯文本模型的输入干净、符号化，推理能力和稳定性更强；多模态信号则更含噪、更非符号化，还带有长程时序结构。

在他看来，多模态大模型推理和鲁棒性不够好，根本原因往往不是模态不够多，而是表示不匹配、噪声信号太多，模型的建模能力被消耗在处理噪声上，而不是用在推理上。

因此，刘树杰认为，关键不是把音频、图片、视频等模态直接“加进来”，而是真正解决表示与对齐问题。

语音介于文本和视觉之间，既是语言，也是信号，因此可以成为连接文本大模型和更复杂多模态任务的桥。在视频方向，他提到ARLON一类思路，即把连续视频信号压成离散视觉Token，让自回归模型提供粗粒度语义和时序引导，再用DiT细化出高质量画面，兼顾长程一致性和画面质量。

落到产学研，刘树杰认为，要攻坚大模型的核心问题，如表示、对齐、评估与推理，而不是停留在跟随和调参。还要和产品团队、产业界保持足够紧密的合作，让研究问题来自真实场景，也让成果更快回到产品和业务中。

三、研产融合共同答题，把科研团队和产业需求接到一起

在于浩看来，产业端不能等技术成熟后再找应用场景，科研端也不能只等论文和项目结题后再寻找市场。产业和科研不是一方出题、一方作答，而是双方联合出题，依靠研产融合共同解题。

工委会具体要做什么？于浩给出了一个纵横两条线的框架。

纵向是打通科研端、产业端和投资端。横向是在学会内部打通各个专委会。中文信息学会下设机器翻译、信息检索、语音处理等多个专业委员会，但于浩认为，在AI技术快速迭代的环境下，按传统技术方向划分的组织形式已经不够灵活，工委会要做资源的横向连接。

落地层面，工委会计划搭建三个平台。一是评测平台，把过去学术导向的评测改为“产业出题”模式，引入企业真实需求来设计评测任务。二是信息枢纽平台，改变过去老师和企业点对点对接的零散合作，做成系统化的生态。三是背书平台，借助学会作为国家一级学会的公信力，降低产学研合作中的信任和沟通成本。

围绕这三个平台，工委会公布了未来18个月的工作计划，主要做四件事。

一是技术前瞻，产业界、投资界和科技界能够一起去探索、预测真正前沿一些技术的节点。

二是项目孵化，完成标杆项目的孵化落地，希望把智谱模式能够复制出去，不是单点，而是多面。

三是专业评测，把企业真实问题转化为评测任务来驱动技术团队解决实际问题。

四是人才发现，即从评测和企业互访中挖掘优秀的青年技术人才。

四、圆桌激辩产学研合作模式，最怕院士创业，绝大多数教授只能当首席科学家

在随后的圆桌环节，来自产业、高校、资本和创业一线的嘉宾围绕产学研合作话题进行了探讨，话题集中在两个问题：产学研的合作模式变化是什么？科学家创业该怎么定位？

拓尔思董事长、中国中文信息学会监事施水才说，过去产学研转化更多是线性的，从实验室到公司，再到资本和市场，但今天这个路径已经太慢。他判断，新的变化至少有几个特征：硬科技创业地位更高，科学家需要更深度参与，技术迭代进入“生死时速”，企业必须做到行业头部，同时也更需要资本和政府基金护航。

施水才谈到，现在不少高校教授其实都有产业化想法，但创业不能“既要又要”，团队也不能只有一类人，科学家、工程化、商业化、财务和管理角色都要互补。

00后陈天润提供了另一个视角。他是在读博士，同时创办了做世界模型的魔芯科技。他的观察是，在大模型和世界模型等前沿方向，一两个关键研究者的想法就可能改变项目走向，这些人未必是导师，很多时候可能是在读博士或刚毕业的年轻人。但年轻团队也需要高校、产业和资本资源支撑，才能把研究想法变成更有行业影响力的产品。

哈尔滨工业大学教授、中国中文信息学会常务理事赵铁军对此感到认同，他说，创新的主要力量确实来自在读学生，他们思维活跃。他还提到，AI技术迭代很快，很多创新力量来自在读学生和年轻研究者，高校老师需要把心态放得更开，与年轻人形成更自然的协作关系。

北京前沿国际人工智能研究院理事长、英诺科创基金合伙人王晟从投资人角度给的判断是：“VC投的不是科学家，是有科技基因的企业家。”

他把高校创业者分成三类：商业和学术都顶尖的极少数人可以做CEO；只有学术能力的占绝大多数，必须找商业搭档；介于两者之间的可以多承担管理职责，但仍需互补。核心原则是“责、权、利对等”。

联想控股副总裁纪朝峰则坦言“最怕院士创业”，院士在学术圈习惯了权威地位，办企业容易出现管理盲区，“谁敢提管理意见？”。他强调，投资和孵化不能只在给钱之后补救，而要在投资前就判断团队能力、组织机制和关键人的性格边界。

圆桌最后的共识是：人无完人，科学家创业最重要的不是补齐所有短板，而是找到互补的搭档，把责权利理清楚。