北京论道丨网仕科技曹洁:AI助力视频内容生产

2023年6月15~16日，由流媒体网主办，北京新媒体（集团）有限公司、北京联通、北京电信、北京移动共同协办的「北京论道暨第25届中国智能视听与科技创新高峰论坛」在北京隆重举行。

　　本届论道以“电视的未来与未来的电视”为主题，邀请到了智慧大屏产业的行业专家、企业翘楚莅临齐聚，多维角度透视当下大屏市场，共谋电视新未来。

　　在15日召开的“IPTV价值高峰论坛”上，上海网仕科技有限公司总经理曹洁做了主题为《AI助力视频内容生产》的演讲。

　　以下为演讲全文：

　　今年是“AI年”，作为视频生产工具的提供商，我今天分享的主题是“AI助力视频内容生产降本增效”。

　　网仕科技成立10年了，我们最开始提供手机电视直播解决方案，2015年提供视频能力平台整体解决方案，2017年起提供视频云运营平台，2019年打造了融媒体+融合AI的视频云生产平台，2022年，我们推出了基于AI感知编码解决方案。

　　我们的主营业务包括4个方向：

　　1. 硬件设备：在线编码器、4G背包、便携式导播台、数字解码器、IPTV多画面监看、HDR工厂等设备；

　　2. 视频云：云直播、云会议等视频云业务；

　　3. 应用软件：流媒体服务器、协议转换网关、直播APP、UGC直播互动系统、虚拟直播室、数字人等应用软件；

　　4. 平台解决方案：云转码、云导播、云收录、云快编、云拆条、云轮播、云接收等平台解决方案。

　　我们主要聚焦于四个方向：

　　1. 智能化AI：将AI能力融入视频生产平台；

　　2. 互动+会议：将广电级别的技术和服务，注入互联网式的设计和市场思维；

　　3. 云化+全协议栈：基于微服务架构的视频云解决方案，模糊设备、技术和服务的界限；

　　4. 移动化+4K+5G背包：基于5G技术设计超高清便携式直播产品。

　　我们将专业级AI引擎应用于视频内容生产，提供一站式视频内容生产可视化解决方案，目前已经大规模商用于东方明珠、百视通、海康威视、四川广信天下传媒、CNTV、天翼视讯、北京国际云转播公司等。

　　AI赋能视频拆条/编辑/编码

　　云拆条是基于BS的拆条工具，对直播节目实施快速打点、剪辑、拼接等操作，生成点播文件，可实时快速预览，支持时间轴、EPG等快速定位；并对视频文件实施非编操作，包括剪切、合并，添加字幕、Logo、图片及画面特效，依托于强大的云端后台处理能力实现视频快速碎片化处理，提高内容生产效率，进而实现内容快速发布。

　　云拆条支持实时预览拆条内容，支持时间轴、EPG等快速定位，支持多段合并，添加logo等，支持帧精确编辑，支持广告识别+EPG自动拆条。

　　AI拆条支持智能广告识别+EPG实现精准拆条：上传频道的广告素材，训练模型；在创建任务中选择要拆条的频道设置拆条的起始结束时间，创建成功后进入拆条任务列表等待运行，拆条运行成功后会生成一个去除广告的成品视频。

　　利用网仕科技累积的广告视频片段，经过训练学习得到的模型，能够自动识别视频中的广告节目，并通过多特征融合拆分模型，结合EPG信息实现对广告节目的精准自动拆分，大大提高节目制作效率。

　　AI标签是对视音频内容进行多维分析的工具，实现拆条体系通过标签精准定位打点，方便融媒体资产的统一检索和共享交换。AI标签系统基于人脸识别、OCR文字识别技术、ASR语音识别、NLP自然语言处理等技术，智能提取视频中的结构化信息，再通过知识图谱进行一阶推理和一阶联系提取出视频标签。AI标签可为用户视音频内容分析、视音频检索、智能推荐等业务场景提供支持。

　　云编辑模块采用B/S构架，具有快速制作、高效合成、帧精确、全格式兼容、易上手、一体化部署、本地编辑云端合成等特点，可完成视频快速制作、图文叠加、加遮挡、配音等应用，为新媒体、教育、医疗等用户提供快速的视频制作生产服务。

　　云编辑功能区包括：1、多轨道操作：根据媒体类型，分为音频、视频和图像轨道，使视频编辑操作一目了然。2、便捷导入素材：模块页面提供实时导入功能，在编辑过程中可随时从本地导入所需的新素材。3、字幕和贴图：自定义添加字幕和贴图，可根据需要调整字幕和贴图的大小、位置、字体、颜色等，在时间轴上拖动即可改变字幕和贴图的时间点和时长。4、高级视频编辑：云智编辑模块除了具备视频叠加等简单功能，还提供了视频旋转、视频翻转、画面大小调整和不透明度调整等功能。5、快速发布：视频编辑完成后可在云编辑页面快速进行发布，可定义节目名称、类型、标签、发行地区等。

　　AI审核基于敏感信息知识图谱，敏感人物分类及样本库，成熟的审核标准，图像要素AI识别、全屏文字OCR提取、语音识别等先进技术，对政治敏感、涉暴、涉黄、广告等风险内容进行审核，支持文字、图像、音频、视频等各种内容形式，满足用户多种业务场景的需求。

　　AI感知编码引擎集感知编码、AI辅助编码、智能码控于一体，兼容点播、直播、RTC等应用，节省带宽，为企业降本增效。

　　AI感知编码可以对内容进行感知，对图像画质进行加强；在画质加强的根底上，进行码率调配的优化；联合外围编码器的优化，压缩带宽，提升用户体验。AI提供了对内容进行剖析和了解的能力，并在此基础上实现疾速、最优的参数编码的预测。

　　基于ROI的编码：所谓ROI就是人眼感兴趣的区域，人眼有注意力机制，人眼在看一幅图像或者看视频的时候有更敏感的区域。整个视频输出之后，人眼最感兴趣的区域，首先是人体，而后是人脸，还有一个是字幕。检测到感兴趣区域之后，就能够对这些ROI的区域进行预处理，做一些边缘增强锐化。

　　AI+超分增强修复引擎则融合了HDR增强、智能超分辨率、光流插帧、画质增强修复，提升视频观看品质。具体能力方面，比如SDR-HDR：提高动态范围、提升色深、色域转换；自适应判断噪声伪影、根据噪声强度智能调节、智能上色提升质感、边缘轮廓清晰；画面清晰流畅、精准性动态补偿、动态场景更稳定；智能遮标、去马赛克、水印、二维码等。

　　应用场景方面，覆盖广电及新媒体部门、视频内容提供商、通信运营商、短视频APP等。比如我们为百视通提供频道拆条和视频素材剪辑服务，月均生产上万条节目内容；比如为橙视传媒提供智慧内容生产平台，为政企部门提供视频内容剪辑服务；再比如为天翼视讯搭建原子能力平台，提供视频素材剪辑能力等。