本文由《广播与电视技术》杂志独家授权。本文刊发于2020年第11期。
刘文翰,邓向冬(国家广播电视总局广播电视规划院,北京 100866)
【摘 要】
在5G、超高清、虚拟现实等新兴技术催生下,广电行业视听内容的生产和传播即将发生新变革。国家广播电视总局顺应技术革命浪潮,推动构建5G高新视频新业态。互动视频作为高新视频业态的重要组成部分,具有分支剧情选择、视角切换、画面互动等交互能力,能够为用户带来强参与感、强沉浸度的互动观看体验。本文从互动视频应用场景、关键技术、端到端解决方案、安全等方面对《5G高新视频-互动视频技术白皮书(2020)》进行了详细解读。
【关键词】
互动视频,端到端解决方案,技术框架
0引言
当前,5G 技术已经成为国际通信科技巨头竞争的新焦点, 在 5G 众多应用场景中,视频被公认为是 5G 时代最重要和最早开展的业务,越来越受到社会各界的广泛关注。国家广播电视总局顺应技术革命浪潮,推动构建 5G 视频新业态,提出了“5G 高新视频”的概念。
互动视频作为高新视频业态的重要组成部分,具有分支剧情选择、视角切换、画面互动等交互能力,能够为用户带来强参与感、强沉浸度的互动观看体验。推动互动视频在内容生产、传播方式、业务形态等多方面的发展,将为推动广播电视行业转型升级注入新动能、激发新活力。
为更好地推动互动视频发展,引导与规范互动视频行业应用,国家广播电视总局科技司组织广播电视规划院、中央广播电视总台、北京爱奇艺科技有限公司、腾讯科技(深圳) 有限公司、湖南快乐阳光互动娱乐传媒有限公司、智令互动(深圳)科技有限公司、优酷信息技术(北京)有限公司、华为技术有限公司开展了互动视频研究工作,编制了《5G 高新视频 - 互动视频技术白皮书(2020 版)》。
1互动视频的应用场景
自 20 世纪末开始,电视行业科技人员根据当时技术条件和发展趋势研发了若干“互动电视”技术标准,例如欧洲的MHP、HbbTV,日本的 Hybridcast 等,ATSC 3.0 标准的第A/344 部分,也对互动内容进行了定义。
上述几种“互动电视”的主要特点是围绕“线性视频” 开展内容互动业务。“线性视频”是指在用户角度,按照时间表播放的一个或者多个电视节目,用户无法进行暂停、回看、快进、快退等操作。而“非线性视频”则通过双向网络单播, 且可从用户角度进行暂停、回看、快进、快退等操作。
1.1 互动视频定义
5G 高新视频 - 互动视频(特指通过 5G 等宽带网络向公众提供的互动视频节目服务,以下简称:互动视频)是指以“非线性视频”内容为主线,在“非线性视频”内容上开展的可 支持时间域互动、空间域互动、事件型互动的内容互动视频业务,该业务具有分支剧情选择、视角切换、画面互动等交互能力,能够为用户带来强参与感、强沉浸度的互动观看体验。
互动视频的互动类型主要包括以下三种 :一是时间域互动,用户在观看过程中通过主动选择剧情分支可改变剧情发展,从而在时间轴上创造不同分支的内容走向,例如剧情选择。二是空间域互动,用户在观看过程中可根据个人喜好,
选择观看同一时间不同空间场景的内容,从而获得更加丰富的内容信息,例如视角切换。三是事件型互动,用户通过特定行为(例如点击、滑动、长按等)触发视频中的人物、场景、物品等属性信息或关联的视频内容,从而扩展内容的深度, 例如画面互动。
互动视频系统包括互动视频制作平台、互动视频服务平台、互动视频播放系统等模块,如图 1 所示。
1.2 应用场景
国际方面,自 2017 年起,Netflix、HBO、YouTube 等视频供应平台陆续上线了多部互动影视作品。国内方面,2019 年伊始,国内市场已涌现出一批互动影视剧、互动综艺和互动短视频等视听内容,同时,互动视频已逐步应用于体育竞技、在线教育、电商购物和互联网广告等领域。
借助互动视频时间域互动中的剧情选择、画面互动能力, 可在互动影视剧、互动短视频中设计多分支内容及不同选项的互动反馈,用户在观看过程中通过互动选择决定剧情的走向。还可依据人物角色引导和画面视觉提示,引导用户在指定时间内,通过触屏方式完成指定动作,并根据用户完成度决定剧情发展脉络,如图 2、图 3 所示。
借助互动视频空间域互动中的视角切换能力,可将体育竞技直播过程中多个机位的内容传送至客户端,用户根据兴趣灵活切换机位,自主选择不同的观赛视角,如图 4 所示。
2互动视频的关键技术
互动视频关键技术涵盖互动视频制作、编码和封装、传输、播放等多方面的技术,整体技术框架如图 5 所示。
2.1 编码和封装
互动视频编码和封装环节主要包括信令数据封装、多视点编码和智能编码等关键技术。
1.信令数据封装技术。通过互动播控信令技术对互动节点的配置参数等数据进行封装。在互动视频播放器中,可通过信令协议控制互动节点创建、监听互动行为、执行互动指令等,并通过对互动节点的控制建立各视频片段之间的故事线,构建视频内容、互动事件、用户行为之间的智能关联。
2. 多视点编码技术。包括时间同步技术和编码效率优化技术。通过在前端编码的每一个分片中插入时间戳,在终端播放解码时,解析对应的时间戳,以保证多视点画面间的时间同步。此外,为解决多视点视频存储数据量受限问题,可采用多视点视频编码标准,利用视角间的冗余减少传输或存储的数据量。
3.智能编码技术。通过对视频画面类型分类、前背景分割以分配不同的压缩码率,在不降低、甚至增强视频源画质体验的基础上降低视频码率,减少用户 CDN 带宽成本,提升用户观看流畅度。
2.2 传输
互动视频传输环节主要包括大带宽低时延传输、网络切片等关键技术。
1. 大带宽低时延传输技术。为达到不卡顿的播放体验, 互动视频应进行数据预加载,而互动视频内容可能由多视角画面组合播放,且一个视频片段后可能有多个待播放的分支视频,因此技术方案应考虑同时预加载多个视频片段。
2.网络切片技术。通过网络切片技术使网络运营商在同一硬件基础设施上切分出多个虚拟网络,实现网络资源按需分配、灵活组合,以快速满足各种互动视频应用场景的业务需求,提升服务质量。
2.3 播放
互动视频播放环节主要包括互动播放引擎、智能预测等关键技术。
1. 互动播放引擎技术。该技术是互动视频播放系统的核心,可为互动程序运行提供环境,为互动程序访问提供接口, 并负责与播放器、终端设备及后台服务交互数据。
2.智能预测技术。通过对用户观看互动视频时发生的互动操作、产生的互动结果等用户行为数据进行统计分析和行为预测,可从用户模糊的行为习惯中精准地预测出用户喜好, 并在播放时输出符合用户喜好的精准推荐结果。
2.4 5G环境对互动视频关键技术的影响
随着 5G 网络的覆盖普及,5G 网络所特有的“大带宽、低时延、广连接”特性,使视频预加载技术不再是视频平滑 切换的必要条件,用户做出任一选择,后续视频片段都可经过 5G 网络快速流畅起播。此外,可同时传输多路视频流, 支持多视角灵活组合。
3互动视频的端到端解决方案
互动视频端到端系统架构,由互动视频制作平台、互动视频服务平台、互动视频播放系统组成,连接创作者端和用户端,如图 6 所示。
3.1 互动视频创作流程
互动视频的核心创作流程包括内容创作、现场拍摄、视频制作三个环节。
在内容创作阶段,互动视频应在遵循传统影视创作逻辑、创作规律的基础上进行更具体系、更严密的逻辑设计,确定视频内容的逻辑框架,明确互动节点位置及相应的互动方式。在现场拍摄阶段,应对互动操作前后的画面内容、转场镜头进行特定设计,确保内容衔接的自然性与合理性。在视频制作阶段,应保证互动组件易感知、互动界面合理。
3.2 互动视频制作平台
互动视频制作平台面向创作者,主要为创作者提供素材管理、故事线编辑、互动组件管理、互动应用模板、互动视频预览、互动视频提交等功能,便于创作者创作和管理互动视频。
素材管理是互动视频制作平台的基本功能,可协助创作者上传和管理图片、视频、音频等素材内容。故事线主要用于描述互动视频的内容结构和脉络。互动组件可分为标准组件、自定义组件两类,创作者可在互动视频制作平台选择互动组件样式模板并配置参数。此外,互动视频制作平台可为不同场景提供快速创作的模板,提高制作效率、降低制作门槛。
为使创作者便捷创作、实时提交互动视频内容,互动视频制作平台宜提供互动视频的实时编辑、预览与提交功能。
3.3 互动视频服务平台
互动视频服务平台通过互联网调用互动视频服务,完成互动视频的账号管理、媒资管理(转码、编目、审核、发布)、网络分发、统计分析等业务。具体而言,包括以下功能模块。
1. 媒体资产管理模块。涉及视频上传、转码、审核、标准化和发布等环节。其中,审核环节应包括视频片段审核和互动节点审核两部分。
2. 网络分发模块。通过 CDN 内容分发网络将用户需要访问的内容分发至距离用户最近、网络服务质量最好的节点, 同时通过负载均衡服务器自动地将数据调度到相应的高速缓存服务器,提高用户访问的响应速度。
3. 用户账号管理模块。完成对用户和创作者账号的管理, 同一用户在不同互动视频的账号 ID 应不同,并针对每部互动视频单独派生一套账号。
4. 历史观看存档模块。可对用户观看视频时产生的观看记录、互动结果进行管理,可实时查看观影记录、互动结果。
5. 数据采集分析模块。收集用户的互动反馈信息及视频播放统计信息,数据采集功能的实现依赖互动视频播放过程中各关键点互动数据的上报。
3.4 互动视频播放系统
互动视频播放系统主要包括播放器、互动播放引擎和互动组件三部分,可实现互动视频的播放、缓冲、渲染、交互等功能,同时采集用户互动数据。
播放器将视频文件解码并渲染出图像和音频序列,并通过基本交互组件完成人机交互的功能,例如开始播放、暂停、拖拽、快进等。
互动播放引擎集成互动视频播放控制 API、设备控制API、用户 API 及其他 API 等,为互动程序提供运行环境。
目前视频播放的终端设备包括电视、电脑、手机、穿戴设备等产品,由于各播放终端的交互输入方式不同,因此, 白皮书中详细介绍了各播放终端的互动方式。
此外,用户在进行互动操作时的反馈是否及时、流畅, 是互动视频体验中重要的组成部分。因此,白皮书中对用户观看互动视频时的三类时延(等待类时延、播放类时延和互动类时延)给出了建议。
3.5 跨平台兼容实现
为使同一互动视频内容可在不同播放平台播放,应考虑互动视频数据格式、播放系统等多个层面的规范统一。
数据协议标准的规范统一,即应统一不同播放平台应用之间的数据格式标准。接口 API 标准的规范统一,即应统一不同终端之间调用的底层 API 接口,统一运行环境。
4互动视频的安全
互动视频的安全主要包括内容安全、版权保护、介质安全、运行环境安全、平台与传输安全和用户隐私安全等部分。
1. 内容安全方面,应从内容合规性、合理性等两方面进行内容安全审核。
2. 版权保护方面,由于互动视频对应的脚本中包含了大量文字、图片、音频等信息,且具有更多的视频片段和互动节点,因此应从互动视频的制作、审核、分发、播放等环节应分别进行相应的版权保护。
3. 介质安全方面,应建立介质安全管理制度,考虑内容安全问题,包括介质管理、容灾管理等方面。
4. 运行环境安全方面,应从互动脚本安全、隔离与隐私保护、沙箱执行环境等方面进行保护。
5. 平台与传输安全方面,应选择安全性尽可能高的操作系统和硬件平台,对平台进行安全配置。并从数据传输安全、报文传输安全和传输链路安全方面进行防护。
6. 用户隐私安全方面,用户在观看互动视频内容、体验互动视频服务时,播放系统可能会收集、存储并使用用户的相关信息,应建立用户隐私授权机制和用户数据防篡改机制, 充分保障用户隐私安全。
5结论
2019 年 8 月,中宣部副部长、国家广播电视总局局长、党组书记聂辰席提出,在 5G 环境下推动高新视频新供给, 引领高新视频新业态,拉动高新视频新消费,为满足人民群众新期待注入强大动能。加快高新视频服务模式与关键技术的探索与应用,是当前面临的重大课题和关键任务。互动视频作为高新视频业态的重要组成部分,应加速推动互动视频在内容生产、传播方式、业务形态等多方面的发展。
未来,互动视频也可应用于 VR 视频制播领域,打造 360 度互动型 VR 视频,并更广泛地应用于影视、教育、医疗、文化、旅游、体育、电商等各行业,为广电行业全面转型升级赋能, 构建行业发展全新格局。
参考文献
[1] 邓向冬,刘文翰, et al. 5G高新视频-互动视频技术白皮书(2020)[S].
国家广播电视总局科技司, 2020.
[2] 孙苏川, 潘国林, 何剑辉, et al. 面向5G高新视频应用的思考[J]. 影视制作, 2019(8).
[3] 杜积西, 赵笠鑫. 互动视频发展中存在的问题及应对策略[J]. 传媒, 2020(12).
北京中广信通文化传媒有限公司
联系人:王翠霞
联系电话:13651307963
作者简介
刘文翰(1993- ),男,国家广播电视总局广播电视规划院工程师,硕士。主要从事5G高新视频、媒体融合、广电视听区块链等领域的科研、标准和业务规划咨询等工作。参与科技部、工业和信息化部、国家广播电视总局等部委多个科研项目的研究。
好文共赏请转发 有话要说请留言
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.