【精选】人工智手语电视播报系统的研究与实现

本篇论文摘要由AI工具根据论文原文生成，阅读原文请访问“广电猎酷”小程序“”板块。

虚拟手语主播为根据真人建模的虚拟形象，其手部动作精细、脸部表情逼真以及通过虚拟动画引擎渲染自然的表情和连 贯的动作，以满足国家广播电视总局对电视机构关于虚拟人播 出的技术指标要求。本文重点研究虚拟手语主播在电视新闻栏目中的安全播出及相关核心技术，为使用和实现人工智能手语 播报系统在电视栏目中应用提供有益的参考和借鉴。

本文作者：

邓佳乐，郑伟峰 长沙市广播电视台[集团] ，湖南长广千博科技有限公司

余江 长沙市广播电视台[集团]

第一作者简介：

邓佳乐（ 1984—），男，湖南长广千博科技有限公司执行董事 兼总经理，武汉大学公共管理专业，硕士。主要从事市场营 销、人工智能手语电视播报系统方面的研究。

NO.1

研究背景和应用

1.1 研究背景

2018 年 11 月 16 日，国家广播电视总局发布《关于促进智慧广电发展的指导意见》 [1] ，该意见提出 ：着力提升广播电视传播力、影响力、公信力和舆论引导力。深刻认识新技 术条件下媒体格局的深刻变化和广播电视面临的机遇挑战，以技术创新推动内容创新，转变内容生产方式，创新节目内 容形态，加大高质量节目供给。

国家广播电视总局组织编制的《广播电视技术迭代实施方案（ 2020-2022 ）》要求 [2] ，“编制智能机器人AI播报、机器人手语技术方案，逐步推动虚拟手语主播、动画手语等技术 在新闻、综艺、气象、科教等节目的应用等”。

中国残疾人联合会2020年3月31日发布的《2019年残疾人事业发展统计公报》指出，截至2019年12月，全国共有25个省级手语专题广播节目、32个电视手语栏目 ；219 个地市级手语专题广播节目、272个电视手语栏目，而且大部分电视手语节目是每周一次的周播节目，不仅播出时间短而 且间隔周期长。人工智能技术是当前科技革命和技术变革的重要技术，人工智能手语电视播报系统，通过深度学习和虚 拟现实技术能有效解决传统电视手语节目的现实问题 [3] 。

1.2 人工智能手语电视播报系统的应用

从 2020 年 6 月 22 日起，长沙市广播电视台率先在晚间新闻栏目《长沙新闻》直播中正式启用人工智能手语电视播 报系统[4]。该系统在《长沙新闻》中已安全运行了超过二万 分钟，建立了一套安全、可靠的播出方案。目前包括长沙市广播电视台和长沙县、望城区、浏阳市、宁乡市等电视台含 融媒体中心已正式启用人工智能手语电视播报系统。截至2022 年7月，全国已有30多个省级行政区的310多家电视 媒体机构安装使用人工智能手语电视播报系统。

NO.2

电视安全播出

2.1 安全播出的架构

人工智能手语电视播报系统不仅应用于电视直播中也可应用于录播场景，安全稳定是该系统最重要的特点。同时，系统集先进性、科学性和易操作性于一体，技术指标均符合国家广播电视总局关于电视播出的行业标准，能实现新闻稿 件编辑、稿件智能上载、视频自动播出等功能，兼容高清信号和标清信号 [5] （见图 1 ）。

图1 电视台的安全播出

该系统后台服务器采用具有安全认证的服务器、独特系统构架及高清编解码卡，保证系统的安全和稳定，同时输出多种媒体格式文件，方便与主流的非编系统相互通信。具有 安全认证的服务器为系统的安全稳定运行提供重要的硬件保 证。该系统不仅节目兼容性好，可输出高清信号，而且集成了全屏字幕和软件预监窗口。

2.2 安全播出的管理

人工智能手语电视播报系统按照《广播电视安全播出管 理规定》中的保障要求，分别采取以下措施来保障安全播出。电源安全保障：供电系统必须符合《广播电视安全播出管理 规定》要求，实行主备自动或手动播控智能切换机制，人工智能手语电视播报系统配置主备播出后台服务器，能安全地对手语播出服务器进行控制，实现按照串联单智能播出，实施播出服务器主备应急措施，提高可靠性。网络信息安全方面：建立三级等保网络机制，配置了系统防火墙和杀毒软件。保证直播信号的安全：多路信号同步输出，智能快速切换信号源。

2.3 安全播出的合成

手语视频信号和电视视频信号可通过三种不同合成模式形成最终视频。手语视频信号通过导播的切换台 DVE模式添加数字视频特效，可动态设置手语视频信号的尺寸和位置。 实时图形视频包装模式是通过输出端手语视频信号，利用Viz在线包系统进行开窗播出。支持手语视频信号和电视视频信号合成打包模式，可将动画虚拟引擎输出成为各种视频媒体格式的文件，再使用主流非编系统在线制作和播出，也可后期制作并与其他电视播出系统对接。支持多种视频媒体格式文件，如MPGE4、AVI 等，以满足高清和标清要求，具有自动保存功能。

NO.3

虚拟手语主播的设计

3.1 虚拟手语主播的手语词汇

人工智能手语电视播报系统包括国家通用手语词典的基本动作制作、虚拟动画渲染引擎和软件交互界面的实现。该系统集成国家通用手语词典中所包含的全部动作数据。国家通用手语词典是2019年中国残疾人联合会最新出版的，包含 手语词汇8214个和相关句子示例。虚拟动画渲染引擎是根据真人建模的3D虚拟形象，能对其手部动作和脸部表情进行 自然表达，以满足新闻栏目对新闻视频的质量要求以及手势动作柔和度和流畅度的技术要求。人工智能手语电视播报系统的客户端由输入端和显示端组成。手语播放速度能自动和新闻源视频长度相匹配，可过滤大部分敏感词和错词，提示某些不宜播出的内容。通过智能发现网络模式，智能匹配输入端和显示端的连接，简化操作流程[6]。

3.2 虚拟手语主播的设计原则

为深入了解听障人群对手语的理解，湖南长广千博科技有限公司组织了多次电视手语交流会，由手语专家、残联主席和听障人群代表组成研究小组，共同探讨虚拟手语主播的 特点和提出建议。会上提出听障人士对手语播出质量评判的基本标准，按照其重要性先后顺序是手势、表情、信息的完整、手语长度、手语内容和播出画面同步，以及手语主播外形和服装也同样影响其表达。虚拟手语主播宜穿较深或纯色服装，以突出其手语动作，也更有利于听障人群理解新闻内容。人工智能手语电视播报系统的服装包含黑色、蓝色和红色三种颜色，可根据用户的要求自定义播出的背景颜色。研究小组通过收集长沙听障群体的意见，发现新闻栏目在听障人士生活中具有重要影响，除此之外还有天气预报等资讯节目。

3.3 虚拟手语主播的技术实现

3.3.1 手语词汇的采集

手语词汇的采集是手语动作数据库建立的第一步，采集通常包括如下部分：统计新闻稿件中的高频词汇，建立新闻专业词汇表。采集手语词汇的各种不同打法，并对其进行甄选。配合“特殊词汇”法，把一些特殊的词汇打包记录并登记。语法则采用多种形式，包括自我介绍等方式获得手语词汇。地域词汇容易造成手语打法不一致现象，因此，建议地域词汇应尽可能选取具有本地特点的手语打法[7]。

3.3.2基于动作捕捉设备的手语动作数据

运动捕捉设备是通过把位置传感器安装在真实人体关节上来测定和记录其运动空间位置[8] 。例如 ：在动作表演者的 运动关节上安装空间位置传感器，当他自然做各种手语动作时，空间位置传感器会实时地将关节空间位置数据返回给后台服务器，实时的关节运动数据驱动虚拟动作引擎中的三维 虚拟人体模型真实还原其动作。该设备的优点是不需要动作 设计师对手语动作进行建模和驱动，可快速生成手语动作数据。缺点是动作表演者和三维虚拟人体模型的体型需要尽可能接近，以避免因传感器位置偏移造成动作的变形。运动捕捉已经成为手语动作制作的基础步骤。

为提高手语动作数据的质量，必须调修手语动作表演者在表达手语时的手部运动数据。人体上半身完成手语的手势动作，而不同手部关节的采集方式可能不同，手臂关节常采用关键关节定位法，手部则采用手指关节定位法。其中手臂关节主要指肩、肘以及腕 ；手指关节则含五个手指的根、中和顶各关节。因此，需要使用陀螺仪位置传感器设备捕获手臂关节数据，同时需要磁条定位传感器捕获手指关节的运动数据（见图 2）。

图2 基于动作捕捉的手语动作数据采集

3.3.3手语动作数据的修复处理

通过动作捕捉设备获得的原始手语动作数据，是重复且混有抖动的数据，为了降低手语运动数据的冗余度、提高手语动作的流畅性，需要动作设计师对手语动作进行精调。首先对手语动作数据进行拆分，但如何拆分是需要思考和注意的，其中包括拆分的长度和拆分的段数。最常用的拆分方法就是按照固定长度将手语动作数据分成固定长度的段，这是最简单最粗暴的方法，显然这种拆分方法没有考虑动作具有 前后一致性，可能会导致连贯动作被切分到两个不同的动作段中[9]。

每个词汇的基本手语动作的运动要素也可能不相同，要避免同一动作运动要素被分割到不同段中，就需要依据动作手语的前后一致性进行拆分，具有同一片段内的手语动作应该具有一致性，单一手语动作数据段应该尽可能地完整。而手语动作数据的关键数据帧恰好就是手语的关键信息体现，可据此进行分段，使得分段后的数据动作具有较强的独立性，因此，可考虑依据关键帧的动作数据进行拆分，而关键帧的周期就是切分点的位置。除此之外，每个手语动作数据的序列在关键帧的位置不一定表现出极值点特征，极值点特征具有表达手语动作的某些运动属性特点[10]。如果手部动作运动过快，可能会出现关键帧少而且极值点也少的特点，由于缺少关键帧数据可能造成无法拆分。针对这种情况，可采用合并拆分单元的方法进行处理，即将关键帧少的段进行合并。如果手部动作运动较慢，就会出现关键帧数据比较多而极值点聚集的情况，针对这种情况，可能需要采用分裂拆分单元的方法，即对关键帧的数据进行进一步的拆分避免聚集情况[11]。总之，合并或分裂拆分单元的处理都要根据实际需要，灵活地对手语动作进行处理，切分后尽量减少手语动作数据的冗余，提高一致性[12]。

NO.4

效果展示

新一代虚拟手语主播系统的手语动作是根据 2019 年出版的《国家通用手语词典》录制的基本动作。相比早期产品，手语动作更加规范和标准。通过虚幻引擎 UE5 ，渲染出高逼真的虚拟手语主播。手语动画引擎实时驱动虚拟手语主播的手语动作，为手语动作连贯性和实时性提供保证。目前，该系统采用以文法手语为主，需要适量增加自然语法，以提高手语的可理解性。最后，将“冬奥会”输入系统，对这个词语中的关键手 语姿势进行分析。

湖南长广千博科技有限公司虚拟手语主播的服饰为纯黑色，手部颜色是亮白色，两种颜色的对比度非常强烈，有利于听障人士理解手语。虚拟手语主播所打的手语词汇均符合 2019 年出版的《国家通用手语词典》的标准。这为《国家通 用手语词典》的标准词汇推广和应用作出了应有的贡献。

end

参考文献

[1] 广电总局印发《关于促进智慧广电发展的指导意见》[J]. 数字传媒 研究, 2018, 35(9): 71-75.

[2] 国家广播电视总局办公厅关于印发《广播电视技术迭代实施方案 (2020-2022年)》的通知[J]. 深度观察, 2022(4): 60-62.

[3] 中国残疾人联合会. 2019年残疾人事业发展统计公报[J]. 中国残疾 人事业统计年鉴, 2020: 11-18.

[4] 廖立东.“新”要让你看见——浅谈人工智能手语播报的直播价值 [J]. 声屏世界, 2021(4): 20-21.

[5] 文琳. AI技术在电视新闻手语播报中的应用浅析[J] . 声屏世界, 2021(12): 24-25.

[6] 姚登峰, 江铭虎, 鲍泓, 等. 手语计算30年: 回顾与展望[J]. 计算机学 报, 2019, 42(1): 111-135.

[7] 孙筱玥, 付南钧, 杨炼, 等. 计算机专业手语语料库的建设研究[J]. 智能计算机与应用, 2015, 5(6): 101-103.

[8] 郭丹, 唐申庚, 洪日昌, 汪萌. 手语识别、翻译与生成综述[J]. 计算机 科学, 2021(3): 60-70.

[9] 刘艳. AI手语主播上岗助听障人士观冰雪赛事[J]. 中国科技财富, 2022(2): 17-17.

[10] 何文静, 陈益强, 颜庆聪,等. 真实感虚拟手语主持人的实现[J]. 微 计算机信息, 2010(31): 217-219.

[11] 高伟, 郭瑾, 曾碚凯. 计算机手语的研究与应用[J]. 微计算机信息, 2002, 18(12): 72-74.

[12] 颜庆聪, 陈益强, 刘军发. 面向广电节目的虚拟人手语合成显示平 台研究[J]. 计算机研究与发展, 2009(11): 1893-1899.

《广播与电视技术》、“广电猎酷”广告经营与商务合作代理：

北京中广信通文化传媒有限公司

联系人：李聪

联系电话：18518221868

好文共赏请转发 有话要说请留言