【精选】芒果TV大型直播沉浸式互动系统的设计与实现

本文精选自《广播与电视技术》2025第12期，阅读原文请访问“广电猎酷”小程序“期刊在线”。

融媒体发展推动综艺节目制作向直播模式转型，增强了真实性与沉浸感。作为行业标杆，芒果 TV 致力于创新直播互动体系，重点打造了两种互动模式 ：“云导播”多屏同看，利用“1+3”屏幕布局，赋予用户导播权，可自由切换机位上屏，实现多屏同播与无缝切换体验；“云围观”沉浸式直播互动，将节目现场映射至直播间，实时采集观众画面，运用 AI 分析情绪并预测走向，同步渲染氛围，并实时连接线下投票和线上查票，显著提升直播真实性。本文将重点探讨这两种创新互动模式在芒果 TV 的设计与实现。

本文作者：

胡奕涵，贺子悦，姚智健，卢海波

湖南快乐阳光互动娱乐传媒有限公司

第一作者简介：

胡奕涵（1991年—），女，芒果TV平台技术中心总经理，主要从事融合媒体、智能交互技术、交互式流媒体方面的研究，曾参与过芒果超级直播生态打造、4K超高清直播、大小屏智联产品“边看边练”、首个电视弹幕等项目，胡奕涵工作室（超级直播核心技术研发工作室）获评2024年湖南省直劳模和工匠人才创新工作室。

[本文献信息]

胡奕涵，贺子悦，姚智健，卢海波. 芒果TV大型直播沉浸式互动系统的设计与实现[J]. 广播与电视技术, 2025,Vo1.52(12).

芒果TV大型直播

沉浸式互动系统的设计与实现

NO.1

“云导播”多屏同看系统

1.1 “云导播”多屏同看系统基础架构

直播间“云导播”多屏同看系统从播控处理、CDN分发、终端播出到用户交互全链路进行了多项技术研发，满足大型直播节目对低成本、高安全、敏捷性和创新互动的急切诉求，取得了在用户画质、设备性能及带宽消耗之间的最佳平衡。

1.2 多窗口直播播控技术搭建

如图1所示，该播控系统基于分层设计的轻量化IP播控架构，信号依次经编码、延时、信源应急、转码、分发应急及播出层处理，其中信源层与分发层的应急模块协同实现直播信号的故障快速响应。

前4层均通过IP编码器的能力进行挖掘实现，减少字幕处理系统、延时设备、IP切换器、SDN切换系统等设备的投入，搭建轻量化的IP播控处理系统，显著降低了多窗口直播新媒体播出系统的搭建成本和实施难度。

1.3 CDN分发层控制

CDN分发层通过多方协同调度，从时间同步、流传输控制、关键帧处理到CDN节点同步以及终端播放同步，全面保障了多机位直播流的同步效果，为用户提供高质量的直播观看体验。

1.4 客户端播放核心实现方案

如图2所示，“1+3”机位同播实现，采用了多播放器播放技术，最多同时渲染并播放4路直播流，用户自主选择不同机位上屏；同时自研终端无缝瞬切导播系统，实现切换机位不中断不黑屏。针对设备各型屏幕，自研全场景跨屏动态适配矩阵技术，实现多窗口在包括折叠屏的各屏幕形态下的无缝切换和布局显示。

面对多个播放器同播带来的带宽成本和设备性能压力，技术实施过程中开发出多维均衡调优模型。编码格式采用H.265，使用较小码率实现相同画质 ；性能监控上采用设备分级系统判别每个设备性能上限，综合调控机位个数上限、特效展示帧率等，确保视频稳定播出。

NO.2

“云围观”沉浸式直播互动系统

2.1 “云围观”沉浸式直播互动系统架构

系统架构如图3所示，本系统整体分为异地多云长连接信令服务、业务层、基础服务及数据中间件。依托完善的运维体系和微服务软件架构设计，本系统不仅支持横向业务水平扩展，同时通过模块化封装和监控体系，支持纵向业务动态扩容。其中长连接信令服务作为通道，提供稳定且实时的客户端与服务端数据传输能力，业务层可根据需要进行任意扩展，如送礼、弹幕、AI情绪映射、投票等互动。

2.2 搭建稳定高效的信令通道

为支撑百万级用户端能够实时渲染直播现场观众情绪、投票互动等业务场景，通过分析调研使用轻量级 MQTT长连接协议进行通信。该协议采用发布/订阅模式，客户端和服务端发布消息到特定主题，减少连接建立开销，实现更快更稳定的数据传输。如图4所示，长连接信令服务设计为连接层、数据接收和处理层。

2.3 沉浸式互动物理空间到虚拟空间的建模

为打造“云围观”沉浸式直播互动体系，核心在于将节目现场舞台和观众座席克隆至线上直播间，使线上观众能身临其境感受节目内容。在直播间内将播放器当作节目舞台位置，通过线下采集，围绕舞台完成直播间观众座席建模。技术上使用双重坐标映射机制实现物理空间到虚拟空间的精确转换，将座位状态序列转化为 bitmap 以减少传输网络消耗，将建模后的数据持久化传输至客户端完成映射。

2.4 沉浸式互动观众情绪采集分析和渲染

如图5所示，完成座席建模后，节目现场分区域布置多路摄像采集观众席面部表情、肢体动作。情绪采集程序通过直播流拉取，按秒截帧采集观众图像进行图像增强、去噪等预处理。

情绪分析模型的建设通过收集历史媒资数据，邀请专业人士对这些数据进行情绪标注，如悲伤、开心、鼓掌、起立、流泪等，构建情绪标注数据集，利用卷积神经网络等深度学习算法，对标注好的数据集进行训练，使模型能够自动提取关键特征用于情绪识别。

最后利用 AI 情绪模型运算分析，以及前后帧矢量元素预测，实时将观众动作、表情元数据结构化，再对采集分析得到的情绪数据与座席映射后持久化存储。情绪推送业务使用长连接信令服务将情绪数据推送到端，端侧接收后利用视觉特效、三维震动等沉浸式交互手段，让线上观众能够直观地感受到现场情绪氛围。

2.5 沉浸式互动应用拓展案例

为将节目现场每个观众投票信息按时间完整依次渲染客户端，通过间隔一定秒数收集投票结果的方式对信息进行推送。因为要将成百上千个观众座位、投票结果同时面向直播间百万级用户，会需要瞬时巨大的服务器网络带宽，为避免造成服务器带宽压力，本系统对收集到的结果快速聚合生成文件，并上传至文件存储服务器，同时手动进行 CDN 预热回源，再将文件下载地址推送至客户端，客户端收到消息后错峰请求，以达到减少服务器带宽压力并降低成本的目的。

NO.3

行业应用与创新实践

芒果 TV 通过“云导播”多屏同看与“云围观”沉浸式直播互动系统，已在多个头部综艺节目直播与大型晚会直播中实现规模化应用，形成技术赋能内容、内容反哺技术的良性循环。

3.1 “云导播”多屏同看实践

芒果 TV 通过“云导播”多屏同看技术，让用户化身导播，重构观看直播的交互范式。该功能采用“1主机位+3 自选机位”的积木式组合模式，如图6所示，支持用户自主切换艺人表演、后台 reaction、直拍特写等视角，实现多屏同步播放与无感切换。截至2025年6月，该技术已成功应用于《歌手2025》《乘风2024》等头部节目及跨年晚会共超 100 场次，覆盖用户量级远超千万，单场人均切换机位次数达 18 次，带动观看时长提升 60%。这种“用户主导播”的模式不仅提升了内容消费深度，更推动行业形成了“直播 + 实时互动”的新标准。

3.2“云围观”沉浸式直播互动实践

如图7所示，在《歌手 2025》部署 AI 情绪采集系统实时捕捉现场 500 名观众听审团的表情与肢体动作，利用丰富的训练数据以及画质增强、去噪等处理达到极高的识别准确率，最终通过长连接信令服务推送至线上直播间，触发视觉特效、三位震动达到同频共振。

NO.4

技术创新点

4.1“云导播”多屏同看系统技术创新点

1. 终端无缝瞬切导播系统。为确保主副窗口切换过程中播放不中断、不黑屏，芒果 TV 技术团队自研了终端无缝瞬切导播系统，对主副机位的切换过程智能调度、无感切换，做到了切换过程播放零延迟、不黑屏、用户无感知，且实现了多设备兼容，保证了观看的流畅体验。

2. 基于芒果 TV 多年积累的直播运营经验和数据，研发“云导播多维均衡调优模型”。该技术通过将历史经验、用户反馈、成本与收益等与实时数据相结合，动态优化系统性能和配置，确保在不同场景下实现资源的最优配置与效率最大化。这一创新方法不仅提升了画质以及用户的观看体验，还显著降低了播放带宽等成本，为行业提供了全新的智能化调优解决方案。

4.2 “云围观”沉浸式直播互动系统技术创新点

1. 空间建模与高效传输技术，采用双重坐标映射机制实现物理空间至虚拟空间的动态精准建模，同时传输利用bitmap 以及快速聚合压缩封装文件方式，减少了 90% 网络带宽，在不影响体验和减少功能的前提下，极大提高了数据传输稳定性，降低了网络成本。

2. AI 情绪采集及模型分析，可根据现场光线、环境等因素变化，实时调整摄像头参数和图像处理算法，以确保数据收集的质量和情绪识别效果，同时也可根据不同节目的特点和需求，对情绪识别的模型和参数进行自适应调整，以实现最佳应用效果，同时也可根据前后帧矢量元素预测，提高情绪识别速度，提高采集和识别效率。

NO.5

结束语

智媒时代，节目的发展面临着全新的挑战和机遇，技术的飞速发展极大地改变了观众获取内容的方式和消费习惯。因此，节目制作不仅需要制作团队在内容方面不断变革，更需要技术开发团队主动拥抱变革，才能赢得观众认可和青睐。从将不同视角的“导播”权利交给观众，打造“1+3”屏幕布局，实现无缝随心切换机位上屏，开辟全新的观影体验，再到“云围观”将节目现场搬运至线上，实时反馈现场观众情绪，利用视觉特效、三维震动等沉浸式交互手段构成情绪共振，以及“云围观”下的监票呈现现场观众投票等交互手段，全方位打造出一套节目直播互动体系，为节目创新创优提供技术支撑，推动广电媒体融合向纵深发展。

end

参考文献

[1] 杨阳.音乐综艺节目《歌手2024》制播模式的创新策略探析[J].视听, 2025(8): 69-72.

[2] 张守伟,仪萍.融媒体时代音乐类综艺节目创新发展路径研究——以《歌手2024》为例[J]. 新传奇,2024(39): 56-58.

[3] 唐炜，杨剑，陈罡，王悉玄，王蛟，黄金名.基于微服务架构的广播融媒微信小程序矩阵设计与实践[J].广播与电视技术, 2025, 52(3):21-26.

《广播与电视技术》、“广电猎酷”广告经营与商务合作：

联系人：胡南

联系电话：13671012778

好文共赏请转发 有话要说请留言