【精选】融媒体背景下短视频智能剪辑系统的建设及应用

本文为论文精要，原文刊发于《广播与电视技术》2023年第9期。

随着短视频逐渐占领主流市场，浙江广播电视集团为满足融合发展的需要，加强短视频制作能力，推动县级融媒体中心媒体融合，在中国蓝云平台上构建了一套短视频智能剪辑系统。本文以浙江广播电视集团统筹建设的短视频智能剪辑系统——蓝云智剪为例，阐述了系统建设背景，详细介绍系统的设计思路、具体功能和应用效果。

本文作者：

刘雯靓，潘宁宁，魏舒桓

浙江广播电视集团融媒体技术中心

第一作者简介：

刘雯靓，女，1995年生，学士学位，浙江广播电视集团融媒体技术中心工程师。主要从事工作：紧紧围绕浙江广播电视集团融合发展规划以及融媒体技术中心年度目标，稳步推进浙江省县级融媒体中心建设。申报实用新型专利1项，参与的《面向中国蓝云的县级融媒体中心调研评估方法》项目获得浙江省广播电视科技创新项目金潮奖•软科学类二等奖。

NO.1

建设目标

为满足集团融合发展的需要，加强短视频制作能力，并推动县级融媒体中心媒体融合，本项目在中国蓝云平台上构建了一套轻量级的短视频智能剪辑系统——蓝云智剪，通过个人电脑登陆浏览器即可进行短视频生产，提供包括素材搬运、视频包装、数据新闻、同期字幕、直播拆条、会议报道等功能，助力县级融媒体中心快速形成短视频智能生产能力。

本项目建设的蓝云智剪短视频智能剪辑系统，遵照中国蓝云的租户模式，支持多用户、多并发，市县融媒体中心可以租户的形式接入。如图1所示，蓝云智剪短视频智能剪辑系统依托于阿里云，实现公有云部署，通过中国蓝云统一认证进行登录，权限管理依托中国蓝云，跳转时蓝云智剪短视频智能剪辑系统通过中国蓝云授权的token进行验证，获取相应的角色code和权限点。而对接后与云媒资库及VMS等产生的数据交互将通过网络专线来进行传输。后期制作人员通过中国蓝云登录蓝云智剪短视频智能剪辑系统，系统通过调用中国蓝云提供的特定码率素材接口，可以直接浏览素材相关信息，在选用时拉取素材进行入库转码，而最终编辑完成的成片通过审核后将自动回传到中国蓝云进行媒资入库。

图1 平台建设流程示意图

NO.2

总体架构设计

蓝云智剪短视频智能剪辑系统分为媒资接入、智能打标、智能生产、人机协作四个主要部分。总体架构设计图如图2所示，媒资接入音视频内容、图片内容、文本内容对内容进行初步的转码、清洗、去重等操作，将媒资内容处理为易操作、易管理、易查询的标准化规格。智能打标部分运用自然语言处理、图像识别、语音识别等技术手段，对音视频、图像、文字内容进行自动标引，同时也能够利用素材编辑器通过人工对媒资素材信息进行编辑标引，将非结构化的媒资内容转换为结构化数据。智能生产通过对媒资标签的聚类、分析，利用规则引擎自动合成新的媒资素材，或通过配置内容化组件模板自动完成内容视频的生产制作，最终产出重新组合加工过的媒资。产出后生成短视频列表，进入人机协作环节，人机协作环节可以对短视频内容或素材进行精细化编辑，编辑完成后可提交到下一环节应用，或保存到个人稿件库中进行后续编辑。

图2 总体架构设计图

NO.3

技术创新点

依托本系统后期制作人员的素材可以通过本地上传、API接口对接或者接入视频流的方式导入蓝云智剪的素材库中。通过数据中台提供的AI服务，蓝云智剪会对入库的素材进行内容理解、内容萃取，最终形成智能标签，便于进一步编辑加工。系统业务流程图如图3所示。

图3 业务流程图

1.在视频作品制作环节，制作人员可通过标签来检索素材，相比于通过元数据信息检索的传统方式，通过标签对媒资文件进行检索，可以更快速地得到所需要的内容素材。短视频的制作可采用人机协作的方式，对于一些特定的场景，可通过视频模板的形式自动生成视频作品。制作完成的视频作品，可以下载或者通过渠道分发功能，发送到网站或APP。

2.蓝云智剪以多个模块组成的智能化内容生产流水线，借助大数据技术和人工智能，对海量视频、图片、文字进行符合新闻业务的高效处理，针对设定主题，实现视频稿件、图片稿件的自动化、批量化、智能化生产，丰富传媒用户稿件、资源应用，支持媒体用户核心业务，从而更快、更好、更广地服务新媒体业务生产。

3.围绕内容的智能生产，智能内容生产平台将会通过机器深度学习和人工智能，针对图片内容管理系统、视频内容管理系统、实时素材数据流的数据进行自动筛选、剪辑和应用。智能内容生产平台还会根据数据情况、素材内容，自动分配所需智能生产模板，更快捷、更灵活地调用新闻资源、实时素材数据流的数据进行快速生产，围绕设置新闻主题真正做到机器生产好新闻内容。

4.系统基于新闻业务经验沉淀，围绕所设置的新闻主题，使用紧密贴合实战的智能主题生产模板，平台可以实现视频数据的实时流转和应用。系统将提供丰富的组件化内容主题模版及工具箱，包含素材、可视化组件、字幕、音频等，借助视频剪接、素材标注、实体档案，对原始视频、基础数据进行全自动、高智能的处理加工，通过智能调度系统进行任务的触发、监控和管理，将结构化新闻数据自动灌入智能内容生产平台，高效产出符合业务需求的新闻内容、视频素材。

NO.4

业务设计及应用

4.1 智能素材库

智能素材库作为整个智能生产平台的大仓库和重要组成部分，业务流程如图4所示，主要承担素材数据导入、素材加工、素材管理和素材能力开放等职责：

图4 智能素材库业务流程图

智能素材库的数据存储于分布式公有云环境，支持图片、音频、视频类型的素材存储及管理，同时提供素材上传能力，支持用户本地上传或API方式传入。为了更好地适配各类业务的调用场景，将会在业务逻辑层和物理存储层之间增加一个逻辑存储层，将底层的数据物理结构和上层业务进行隔离，如图5所示。

图5 素材存储管理业务流程图

4.2 智能视频编辑器

智能编辑器作为智能生产的重要组成部分，基于可视化WEB界面提供丰富视频编辑工具，结合AI技术分析视频内图像、语音、字幕等内容，简化视频编辑加工生产相关环节，辅助用户快速生产。

1.智能识别

内容理解模块是利用多种智能算法技术，将存储到智能素材库中的非结构化的多媒体数据，进行自动识别，将识别结果转化为文本内容，再利用自然语言处理技术，将核心内容抽取、自动打标到原本非结构化数据中，使其成为结构化数据。

2.智能字幕

智能字幕的功能是指提取视频中的音频信息并对得到的音频信息进行语音转文本、结构化标签、meta信息的提取，从而给视频媒体资源自动加上字幕。

3.智能配音

蓝云智剪短视频智能剪辑系统通过智能配音的功能提供三种音色、三种语速，对字幕轨道上的字幕进行语音合成。

4.3 智能直播中心

智能直播中心依托智能生产中心的智能模板能力，辅助以直播中心视频直播流接入管理能力，可实现会议、展览过程中根据特定人物或者特定物体进行视频高速拆条、生产，形成基于特定人物或者特定物体的完整视频集锦。主要功能特性如下：

1. 提供视频集锦智能创作能力，可支持会议类型：政府常务会议、记者发布会、人物专访会议、商务发布会；可支持体育赛事类型：足球、篮球；

2. 视频集锦功能支持直播流预约，支持会议发言自动识别；

3. 视频集锦功能支持视频流智能拆条，提取人脸、特定物品完整片段；

4. 视频集锦功能支持手动急速拆条及智能标签功能；

5. 智能集锦：可依照人脸、特定物品维度自动合成精彩片段集锦；

6. 人工集锦精编：编辑人员可快速筛选精彩片段，实现自定义集锦功能。

4.4 虚拟主播

虚拟主播系统是面向视频内容生产领域的智能化解决方案，云端Web编辑器是虚拟主播系统的生产创作中心，云端Web编辑器主要包含以下功能：

1.主播形象：支持用户在预定义主播形象中选择本次播报所需的主播形象；

2. 配音选择：支持用户在预定义的音色中选择一个作为本次播报合成的配音；

3.支持配音试听：在选择配音时可试听到不同音色对一段标准文案的朗读试听；支持修改语速和背景音乐音量；

4.视频比例：选择视频横屏/竖屏，可以通过比例进行调整，16:9为横屏，9:16为竖屏；

5.视频背景：虚拟主播视频制作过程中，支持用户添加预定义的拍摄场景元素，包括演播室样式、画面布局、人物动作、人物衣装、人物饰品（眼镜、帽子、耳环）、透明通道背景、多种机位表现（如半身、全身、侧身）等，同时，视频背景支持动态效果，如天气预报视频、画中画等；

6.情绪添加：虚拟主播视频制作过程中，支持用户添加预定义的情绪，以便于实现语义情景和人物情绪表情的匹配；

7.播报文本：用户仅需输入一段新闻播报文本，系统即可对文本内容进行分析，配合语音模型，实现虚拟主播的语音合成。

NO.5

结束语

蓝云智剪短视频智能剪辑系统作为一种轻量级、易操作、智能化的在线短视频编辑工具，为浙江广播电视集团内部以及浙江省县级融媒体中心提供短视频智能剪辑平台服务。在全媒体生产的各个环节融入人工智能技术，实现智能分析、机器创作、快速剪辑、云端操作、无缝对接多种传播渠道，降低了视频剪辑的门槛，提升了生产效率，与传统视频剪辑系统优势互补，可以使一线编辑制作人员聚焦业务热点，在创造性的工作上投入更多的精力。

end

参考文献

[1]谭乐娟.人工智能技术在视频编辑中的应用实践[J]. 中国传媒科技, 2020(8): 125-128.

[2] 王学哲, 姜里, 李蓉, 陈昌健, 马俊. 5G高新视频AI智能剪辑平台建设及场景应用[J]. 广播与电视技术, 2021, Vol.48(8).

《广播与电视技术》、“广电猎酷”广告经营与商务合作代理：

北京中广信通文化传媒有限公司

联系人：李聪

联系电话：18518221868

好文共赏请转发 有话要说请留言