把场景转化成语音，AI技术如何帮助视障者？

作者｜西西弗

蔓小妮是安徽一位28岁的女孩，她长相甜美，看起来与常人无异，几乎每天都在抖音上分享自己的生活视频，还积累了2.3万粉丝。她签名里写着，喜欢唱歌，性格开朗，也很坚强。

但她是一位视障女孩。

与正常人相比，视障者在生活中面临诸多不便。社会对他们生活的改善可能仅限于增建更多无障碍出行设施。但实际上，他们与正常人一样有多样化的生活需求。

比如，她们也想化妆，也想打游戏，也想接触各类工作机会，而不是接受去按摩院做盲人按摩师的宿命。

如果有强力辅助的话，他们的出路不会被困在按摩院里，等待不确定又具有风险的生活。

根据数据显示，全中国目前大约1700多万视障者。越来越多的社会力量已经关注到这一群体，并试图用技术和公益的方式来帮助他们解决现实生活中的困境。

盲人是怎么看短视频和直播的？

小志与蔓小妮一样，都是视障者。几年前，小志在考研路上突发疾病导致了视力急速下降，而且不可逆。

世界变得模糊之后，小志的生活也迷茫过。后来他注册了抖音账号，通过视频的方式，以亲身经历告诉跟他有同样经历的小伙伴，不向命运屈服，争取更精彩的人生。

他在抖音上主要分享视障群体如何生活的视频内容。比如，视障者使用电脑小技巧，以及视力不好如何点菜，如何发帖评论等。

你可能会很好奇，视障者是如何使用手机的？

对于正常人来说，看图标就可以使用手机，但对于视障者来说，他们需要在手机上安装特殊软件，或者把手机设置为旁白模式，通过听觉来使用。比如，苹果手机里自带VoiceOver。

在苹果手机中，点击通用里的辅助功能，就可以打开VoiceOver的“旁白功能”。在这个功能下，用户手指触摸到手机的任何一寸屏幕都会先以旁白的形式发出语音提醒。

“正常人使用手机，点一下图标就可以打开APP，我们点一下手机首先跳出来的是旁白的声音，告诉我们摸到的是哪个应用，然后我们通过双击打开。”一位盲女按摩师告诉剁椒TMT。

在读屏软件的帮助下，越来越多的视障者正在通过短视频平台开启更大的世界，甚至还有视障者在抖音开直播，赚钱养活自己，也有视障者通过卖美妆产品，获得了自己的第一桶金。

像抖音上的肖佳，就是一位视障者的美妆博主。在她的签名里写着，就算看不见，我也要美。

为了学习化妆，肖佳要记住每个化妆品的名字以及包装形状。为此，她让女儿给化妆品贴上盲文标签，再靠记忆力记住颜色变化。她还通过一遍一遍的上妆、卸妆来记住高光和腮红到底打多少才算适量。

如今，肖佳可以在短视频中分享自己的妆容和穿搭，还可以精准地描绘手里拿着的衣服款式。

不过，手机里自带的软件只能解决视障者一些使用手机的基本需求，他们的生活中依然存在诸多不便。比如，早上穿袜子到底穿什么颜色，才能搭配自己的衣服，直播间里展示出来的服装到底是什么款式，什么材质？

“我们在使用手机的时候，屏幕上的文字可以通过读屏软件听得到。但遇到图片，特别是图片上的图案和文字的时候，了解起来比较困难。”上述盲女按摩师告诉剁椒TMT。

AI技术如何解决视障群体的生活难题？

找图片确实是视障群体创作的过程中的一大难题。即便有一整个图库，他们也不一定能找到一张高清又合适的图片。

不久前，由抖音集团、北京字节跳动公益基金会等组织举办的“AI助力视障群体”的“技术公益创新杯”大赛决赛举办。针对视障者找图片难、选图难的问题，大赛上一支名为BANG的团队专门做了产品降低视障者在图片方面的门槛。

“我们主要是让视障者具备图像编辑能力。比如如何客观的描述这个图像，有些词只有非视障群体能理解，视障群体是不能理解的。因此我们做了一个描述的按钮，视障者同意点开，看一下是否满意，满意才会继续。”来自BANG团队的成员介绍说。

事实上，视障群体能做的事情远超出外界的想象，只是受限于现实条件，他们的需求并没有被得到很好的满足。技术的突破带来了更多可能，拓宽了需求的边界，同时也逐渐消弭视障人士和非视障人士之间的社交鸿沟。

一次偶然的机会，抖音集团产品经理、熊猫美妆项目的队长在抖音上刷到了肖佳的美妆视频，并迅速联系到她。看到肖佳对化妆的热爱与坚持，任锴锴开始思考，如果做一个公益美妆项目对市场、人群的价值究竟在哪里。

于是，任锴锴开始了用户调研。他发现，视障者化妆过程中，一个显而易见的难题是，她们无法从镜子中看到自己妆容，也无法辨别颜色，更别提进行局部妆容的细微调整，只能通过朋友获得反馈信息。这样一来一回，非常消耗时间。

如果能通过AR技术，识别出视障者化妆过程中哪步是对的，哪步是错的，将极大地降低她们的化妆门槛。

为此，熊猫美妆在产品上增加了一个“内容纠偏”的功能。它能实时反馈给视障者，眼线有没有花长，口红有没有出界，物料的颜色也能给出精准地提示。

在这个过程中，熊猫美妆需要克服的第一个难题是，由于采集视障者眼部信息困难，互联网行业没有针对这个人群的脸部数据库。因此，在算法的精度上是有很大缺失的。产品前期的精度可能只有一半左右，但目前，视障用户们在给出更多的数据反馈。

“化妆是视障者的基本权利。当我们开始想，她们为什么需要化妆的时候，本身就是对他们的一种歧视。”任锴锴说。

熊猫美妆解决的还只是视障群体在垂直生活领域的需求。那么，灵瞳团队则解决更多视障者生活中存在的普遍问题。

比如，每天早上睁开眼睛，如何按照颜色搭配自己的衣服，去冰箱寻找自己喜欢的食物能不能找到，会不会已经过期了？灵瞳开发的APP可以通过回答问题的方式，直接获取这些信息。

“AI语音和视觉技术可以引导视障者更快更准确地找到相应内容。用户可以通过对话方式定位物体的具体位置。比如，想找一个黄色的东西，你可以拿着摄像头去寻找，一旦你找的目标出现，灵瞳就会提示你位置，在屏幕的左侧还是右侧。”灵瞳负责人表示。

在视觉识别的基础上，灵瞳的产品还加入了智能信息检测。也就是说，一旦有身份证、银行卡等私密信息进入拍摄范围内，APP会自动发出提示，以免视障者无意间泄露自己的关键信息。

抖音集团的公益进阶

创作大赛中12组参赛队伍分别提供了关于视障人群出行、办公、购物、美妆、游戏等需求的智能解决方案。最终，灵瞳、熊猫美妆等团队拿到了决赛的现金奖励。

抖音集团将就决赛中这些有价值的项目进行孵化和落地，成为切实可用的产品。

除了现金奖励以外，抖音集团也在技术和人才上支持视障公益技术和产品的研发。

本次AI创新大赛进入决赛的12支团队大部分都来自字节内部，他们有些是产品经理，有些是工程师，部分是来自清华大学等高校的学生。他们平时还是按时上班，周末和其他休息时间来研发这个视障公益产品。

任锴锴表示，公益不应该是有门槛的，它应该是可以复制的。“比如我们在深圳做了这个产品，那么，在北京，上海的小伙伴们也都可以做；第二，我们不希望这个产品真的服务几千万人，我们做不到，如果能服务100或者1000个用户，我们的项目就是成功的。因为相比一般的互联网产品，公益项目最重要的就是落地，能够帮到那些真正需要帮助的人。如果这个产品能够帮助100个人实现化妆自自由，我们的产品价值就非常大了。”

这已经不是字节第一次针对视障群体的公益行动。从2019年开始，抖音就启动了信息无障碍优化，通过开启 Google TalkBack（或第三方屏幕阅读）功能，将用户在屏幕上触摸选中区域的内容朗读出来，使得视障者可以根据朗读的内容获取自己当前操作区域的信息，从而提升视障人士的使用和交互体验，顺畅地操作APP。

在内容上，平台还开启了残障公益创作者招募扶持计划，优质内容和优质创作者有机会获得流量扶持和官方长期合作机会，该计划旨在引导更多人关注、帮助障碍群体。

2021年，西瓜视频上线了“无障碍影院”频道，平均每月上线10部以上无障碍影片的频次。目前，无障碍影院已经上线了超过100部作品，包括涵盖《我不是药神》、《大鱼海棠》等。用户只需打开西瓜视频,搜索“无障碍影院”即可进入频道,选择影片开始“观”影。

观影过程中，从演员表到谢幕，除了演员的台词和背景音音，任何空白镜头都有西瓜视频的工作人员做旁白进行精准描述。比如，何润东主演的《遍地狼烟》这部电影一开头，是一个阳光明媚的夏日午后，旁白是这样说的：阳光穿过茂密的树林，这里是枫林渡镇，顺着粗壮的树干延伸，枝杈出有个抱着枪睡午觉的士兵……

过去几年，作为一家科技公司，如何做好公益，是抖音集团高层一直在思考的问题。

为进一步发挥“互联网+公益”模式的巨大影响力，抖音集团联合多方力量发起了数个不同的公益项目。抖音公益相关负责人李涛曾表示，公益应该数年如一日，把一件事做穿、做透。