模思智能亮相 WAIC 2026：让情境智能走到台前

模思智能对“情境智能”给出了回答。

本文为IPO早知道原创

作者｜Stone Jin

据IPO早知道消息，面向下一代情境交互智能的大模型创新企业模思智能首次亮相 WAIC，集中展示实时视频理解、复杂音频转写、语音及音视频生成和实时交互等最新进展。

复旦大学教授、上海创智学院全时导师、模思智能首席科学家邱锡鹏受邀出席2026世界人工智能大会主论坛圆桌，与2025年诺贝尔化学奖得主 Omar M. Yaghi、2025年图灵奖得主、量子技术先驱 Gilles Brassard 等国际顶尖科学家同台，围绕 AI 驱动科研范式变革、下一代模型演进以及人工智能与量子技术的发展展开交流。

在论坛上，邱锡鹏表示，AI 正在从科研辅助工具演进为科研创新的重要参与者，未来将形成”AI 自主迭代 AI”的闭环研发体系，持续缩短模型研发周期，加速下一代基础模型的发展。

大会开幕前，模思智能与 OpenMOSS 团队连续发布多项模型和产品：7 月 14 日开源实时视觉理解模型 MOSS-VL-Realtime；7 月 10 日开放一站式 AIGC 创作平台 Mossland 与模思开放平台 MOSS API 公测；7 月 9 日开源多说话人长音频转写模型 MOSS-Transcribe-Diarize-0.9B。

除了核心模型的优势性能与体验演示，此次 WAIC，模思智能把这些能力放进了一条任何人都能直接参与的体验动线：说一句话，点亮一座声音巴别塔；打一通电话，生成一段配音或 AI 播客；对着麦克风讲一段话，获得一张记录语速、节奏、语气和情绪的“声音人格卡”。

这些体验共同指向模思智能对下一代 AI 交互的判断：当模型进入真实世界，关键不只是识别声音和画面，而是理解这些信息在什么情境中发生，并据此判断何时回应、如何回应。这正是模思智能对“情境智能”的回答。

从声音巴别塔开始

让情境智能被看见

在模思智能 WAIC 展台中央，一座“声音巴别塔”成为最醒目的现场装置。

参观者可以说出不同国家的语言或不同地区的方言。系统识别其中的语言、口音和表达特征后，会点亮塔上的一个节点。随着越来越多的人参与，巴别塔被逐层补全，最终由不同语言背景的声音共同点亮。

巴别塔的古老寓言讲的是语言分化与理解断裂。模思智能将这个故事反了过来：语言曾让人类无法彼此理解，今天的 AI 则有机会跨越语言、口音和表达习惯的差异，让沟通从“翻译正确”进一步走向“理解准确”。

支撑这一装置的，是 MOSS-Transcribe 与 MOSS-Audio 对复杂声音的识别和理解能力。模型不仅要听清说了什么，也要尽可能理解语气、情绪、节奏和上下文。在跨语言沟通、全球客服等场景中，这些非文字信息往往会直接影响意图判断。

展台还设置了 Mossland 创作电话亭和 VBTI（Voice-Based Type Indicator）声音人格测试。电话亭底层调用模思自研的 MOSS-TTS Family 语音合成模型：参观者像打电话一样说出一个想法，即可为影视片段配音、生成 AI 播客，或得到一张记录当下声音的“声音保鲜发票”；对着麦克风讲一段话，系统则会生成一张呈现语速、节奏、语气和情绪的“声音人格卡”。

声音巴别塔负责感知不同的声音信息，VBTI 进一步理解其中的情绪与表达状态，创作电话亭再将这种理解转化为配音、播客等内容，三者共同呈现了一条从感知、理解到生成与交互的情境智能体验链路。

从实时视频到多人长音频

理解持续发生的情境

这些现场体验背后，是模思智能正在构建的 MOSS 系列多模态基础模型。此次 WAIC，模思智能将 MOSS-TTS 语音合成模型、MOSS-Transcribe-Diarize 多说话人转写模型，以及最新发布的 MOSS-VL-Realtime 实时视觉理解模型集中带到现场。

展台内，一面长约六米的模型墙将向开发者和参观者开放体验：MOSS-VL-Realtime 持续理解并解说现场画面，MOSS-TTS 根据不同需求生成声音作品，MOSS-Transcribe-Diarize 则在嘈杂的展区环境中区分不同说话人，并完成语音转写。相比单纯展示模型参数，这些能力将在真实、复杂且持续变化的现场环境中直接运行。

其中，MOSS-VL-Realtime 面向的不是一段已经结束的录像，而是持续发生的视频流。传统视频理解模型通常需要先看完整段视频，再根据内容回答问题；但直播、赛事、实时监控和智能硬件中的画面不会暂停，后续出现的信息也可能随时改变此前的判断。·

MOSS-VL-Realtime 可以在视频持续输入的同时回答问题。当关键信息尚未出现时，模型会继续观察并保持沉默；当画面发生变化时，也能够及时修正已有回答。它支持小时级视频理解，并可针对快速变化的画面提高采样频率，减少关键动作被漏掉的情况。在 OVOBench、OmniMMI、ProactiveVideoQA 等流式视频理解基准的综合评测中，MOSS-VL-Realtime 达到开源最佳水平。

在音频侧，MOSS-Transcribe-Diarize-0.9B 面向多人会议、访谈和播客等复杂长音频场景。它不只要识别“说了什么”，还要判断“谁在说”和“什么时候说”。

过去的方案通常将自动语音识别、说话人区分和时间对齐拆成多个环节，前一个环节一旦出错，错误便可能继续向后传递。MOSS-Transcribe-Diarize 将文字、说话人和时间信息放进同一个模型中处理，可以直接输出带有说话人标签和时间戳的结构化文本。

模型参数量仅为 0.9B，适合端侧部署，可一次处理约 90 分钟多人音频，同时区分不同说话人，并支持人名、品牌名和专业术语的热词增强。在 AISHELL-4 中文多人会议公开测试中，模型在转写准确率、说话人区分和稳定性三项核心表现上均取得最佳成绩。

视频和音频看似是两条不同的技术线，处理的却是同一个问题：模型需要在信息持续进入的过程中，追踪事件、人物与时间之间的关系。视频模型要理解场景如何变化，音频模型则要持续对应说话人、内容和时间。

从模型走向真实使用

让情境智能形成闭环

模思智能孵化于上海创智学院与复旦大学 OpenMOSS 团队，邱锡鹏担任首席科学家。团队从 2023 年的 MOSS 语言模型出发，逐步将能力扩展至语音、音频、视觉等多种模态的理解与生成。

模思智能围绕感知理解、内容生成和实时交互搭建 MOSS 系列模型体系。这条路线不是把语音识别、视频理解和内容生成简单拼在一起，而是尽可能保留真实交流中容易在转写过程中丢失的语气、情绪、节奏、人物和现场状态，让模型把声音、画面和时间放在完整情境中理解。

目前，这些能力已经开始从模型和评测走向真实用户。MOSS-TTS Family 在 Hugging Face 等开源社区的累计下载量已突破 200 万次；MOSS-Transcribe-Diarize-0.9B 开源后登上 Hugging Face Audio-Text-to-Text Trending 榜单第一；OpenMOSS 相关开源项目在 GitHub 上也已获得超过 1 万颗 Star。

面向创作者的 Mossland 在内测期间活跃创作者已超过 10 万，并将声音克隆、音色设计、视频配音和 AI 播客等能力放进同一条创作链路。MOSS API 则进一步把语音生成、长音频转写和音视频理解等能力开放给开发者和企业。

基础模型通过产品进入真实场景，用户的实际使用也不断为模型提供新的数据与反馈，帮助团队持续优化理解、生成和交互能力。由此，模思智能逐步形成了从基础模型、产品应用到用户反馈，再回到模型迭代的完整闭环。

当大模型进入智能体、机器人、智能座舱、陪伴设备和更多现实终端，它面对的将不再是一段整理好的文字，而是持续发生的声音、画面、动作、人物关系和环境变化。AI 需要理解当下，也要随着情境变化及时调整判断和回应。

从实时理解视频，到听清多人长音频，再到理解语气、情绪和现场状态，模思智能希望以情境智能连接 AI、人和物理世界，让模型从处理孤立信息走向理解连续发生的现实。人也不必再把复杂意图整理成一条准确指令，AI 可以从正在发生的情境中理解人的状态、目标和变化，更自然地参与现实协作，更好地理解人、服务人。