网易首页 > 网易号 > 正文 申请入驻

谷歌DeepMind发布手语转文本模型,手语AI首次落地消费电子

0
分享至

当地时间8月12日,谷歌旗下DeepMind对外发布全新多语言手语转文本模型 SL2T,这项手语人工智能技术正式搭载至 Pixel11 手机系统,实现手语AI第一次落地普通消费电子产品,补齐听障群体智能终端交互短板。

本次上线的 SL2T 模型,最先适配 Pixel 11 内置 Gboard 键盘、实时转写 Live Transcribe 两款工具。手机前置摄像头捕捉使用者动作之后,用户便可依靠比出手语完成消息编辑、网页检索、和 Gemini 大模型对话等原本需要手动打字的操作。内测数据显示,使用者使用美国手语输入文字,效率和自然度优于手动键盘打字,沟通体验大幅提升。

在底层训练层面,SL2T 依托超过50种手语、累计10万小时时长的手语素材完成训练,四分之一训练素材来自美国手语数据集。跨语种的联合训练方式,让模型摸索不同手语之间共通的动作逻辑,识别效果优于单语种手语模型,在 FLEURS‑ASL 评测基准刷新当下手语转写模型测评记录。

长久以来语音转文字、语音输入已经成为智能手机标配功能,方便普通使用者解放双手完成文字录入。但全球现存超200种手语,大约7000万听障人群长期缺少适配移动端、成熟稳定的手语识别工具,手语相关技术大多停留在实验室研发阶段,很难面向普通用户落地使用,移动端无障碍交互长期存在缺口。

新功能使听障人士也享受到类似语音输入的灵活 " 打字替代 " 体验。不同于过往手语识别产品需要先将手势对应固定标签词汇再转换成文字,SL2T 省去中间注解流程,直接解析人体动作坐标生成文本。手语属于独立语言,面部神态、肢体空间位置、唇部动作都会承载语法含义,传统标签式识别方式容易丢失非手部动作携带的语义,全新架构能够打破固定词汇库的桎梏,识别上限随着训练素材扩充持续提高。

隐私防护同样是本次模型的重点设计。手机端 MediaPipe Holistic 工具实时追踪手部、面部、躯干合计130处关键点,设备只会向外传输动作坐标数据,拍摄产生的原始视频画面即时删除,不会上传云端,规避拍摄画面泄露带来的隐私隐患。

据 DeepMind 团队介绍,项目全程吸纳听障从业者、手语顾问委员会参与产品迭代,贴合手语使用者日常沟通习惯。现阶段该功能仅开放美国手语转英文,后续谷歌计划逐步适配更多手语种类,并且向更多安卓机型铺开该无障碍功能。

手语模型并不是 DeepMind 初次尝试的残障群体无障碍AI项目,2025年5月科研团队对外官宣开源手语互译模型 SignGemma,依托轻量化 Gemma 架构搭建手语翻译框架,主要针对美国手语开展优化,为如今 SL2T 消费级落地打下算法根基。

除此之外实验室还研发过多项普惠技术:依托自研 WaveNet 语音合成算法,帮助肌萎缩侧索硬化症患者复刻出事前原生嗓音;Euphonia 专项项目专门辨识中风、失语病患造成的含糊不清语音,破解言语障碍人群设备交互难题。谷歌移动端无障碍产品线 Live Transcribe 多年迭代音频转写算法,长期为听障用户提供日常声音字幕,多年的声学‑视觉多模态经验,全部赋能本次手语识别模型开发。

多家科技厂商已经加速布局面向残障群体的 AI 无障碍赛道,国内科大讯飞旗下讯飞听见,通过听力残疾认证的用户可以享用免费实时语音转写、带有月度时长配额的会议同传权益;华为依托鸿蒙大模型打造完整助残工具包,AI 眼镜借助 “小艺看世界” 帮助视障人士识别路况障碍,小艺AI语音修复优化失语者含糊的发声;苹果升级 iPhone、Vision Pro 端侧 AI,设备搭载智能实时字幕、图片详情解析功能,Vision‑Pro 专属新增眼动操控兼容外接电动轮椅的无障碍功能。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄国认为:《尼布楚条约》是耻辱,黑龙江流域自古就是他们的领土

俄国认为:《尼布楚条约》是耻辱,黑龙江流域自古就是他们的领土

浔阳咸鱼
2026-08-11 17:15:07
四川一维修队打开下水道,发现里面躺着3个女人,一查身份吓一跳

四川一维修队打开下水道,发现里面躺着3个女人,一查身份吓一跳

清茶浅谈
2025-03-30 15:06:25
到儿子家养老,儿媳送我一块布,想半天没明白用途

到儿子家养老,儿媳送我一块布,想半天没明白用途

秀秀情感课堂
2026-08-13 19:55:04
中国收网!大批菲佣在华被捕,真是对菲律宾的反制?

中国收网!大批菲佣在华被捕,真是对菲律宾的反制?

李云飞Afey
2026-08-13 20:09:39
为什么往死里扫黄?网友分享太真实了,一次说透

为什么往死里扫黄?网友分享太真实了,一次说透

另子维爱读史
2026-05-27 20:16:03
全球最大主权财富基金掌门人警告:别指望高回报能持续 未来投资环境或更艰难

全球最大主权财富基金掌门人警告:别指望高回报能持续 未来投资环境或更艰难

财联社
2026-08-13 01:09:01
曾任市委政法委书记,杨洪旭退休后被查

曾任市委政法委书记,杨洪旭退休后被查

上观新闻
2026-08-13 17:11:37
宣布了!湖人被卖!詹姆斯不能穿这76人球衣了...

宣布了!湖人被卖!詹姆斯不能穿这76人球衣了...

詹姆斯吧
2026-08-13 01:22:03
没有演技别硬演老人!看沈腾《欢迎来龙餐馆》,才知何为判若两人

没有演技别硬演老人!看沈腾《欢迎来龙餐馆》,才知何为判若两人

剧芒芒
2026-08-10 19:51:02
半年报公布!社保基金最新加仓5家A股,PE低至10倍,股价低至7元

半年报公布!社保基金最新加仓5家A股,PE低至10倍,股价低至7元

长风价值掘金
2026-08-13 17:24:55
明日入末伏,今年末伏不一般,60年一遇,5大特点,早看早准备

明日入末伏,今年末伏不一般,60年一遇,5大特点,早看早准备

智慧生活笔记
2026-08-13 14:00:45
大S遗产分配终于敲定,长女首次境外发声,外婆那套说法被推翻了

大S遗产分配终于敲定,长女首次境外发声,外婆那套说法被推翻了

乡野小珥
2026-08-02 03:23:40
蛇鼠一窝!恒大二把手夏海钧在美国的邻居,竟然是另一个逃跑富豪

蛇鼠一窝!恒大二把手夏海钧在美国的邻居,竟然是另一个逃跑富豪

阿晭评论哥
2026-07-18 22:00:09
瑞典大满贯日本白打了!早田3-0绝杀,直面蒯曼太崩溃

瑞典大满贯日本白打了!早田3-0绝杀,直面蒯曼太崩溃

刘哥谈体育
2026-08-13 12:15:42
程梦圆遗体才刚找到,恶心一幕发生,救援队长发声,吃相太难看

程梦圆遗体才刚找到,恶心一幕发生,救援队长发声,吃相太难看

小鋭有话说
2026-08-12 08:05:11
CCTV16直播,申花保级6分战,特谢拉+王上源解禁,河南两连客别掉队

CCTV16直播,申花保级6分战,特谢拉+王上源解禁,河南两连客别掉队

替补席看球
2026-08-13 08:55:05
杭州97年美女相亲,要求找A10的,一问自身优势瞬间沉默

杭州97年美女相亲,要求找A10的,一问自身优势瞬间沉默

映射生活的身影
2026-08-11 12:24:28
末伏三不吃,病就不找来!明日末伏,哪3不吃?精神饱满过末伏10天

末伏三不吃,病就不找来!明日末伏,哪3不吃?精神饱满过末伏10天

小谈食刻美食
2026-08-13 09:36:08
蓄谋已久!古柯再曝刘晓庆黑料,庆奶公开回应,未把助理当回事

蓄谋已久!古柯再曝刘晓庆黑料,庆奶公开回应,未把助理当回事

汪巗的创业之路
2026-08-11 19:04:53
王虹的博士论文,被人扒出来了!她的致谢部分,英文写得跟小学生一样。带头开喷的,是一位雅思6分多的博主

王虹的博士论文,被人扒出来了!她的致谢部分,英文写得跟小学生一样。带头开喷的,是一位雅思6分多的博主

谭谈社会
2026-08-10 10:26:10
2026-08-13 20:48:49
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1152859文章数 1338333关注度
往期回顾 全部

科技要闻

DeepSeek V4涨价,Pro高峰期百万输出27元

头条要闻

顾客221元订酒店 商家仅获40.67元:订单底价高达1573元

头条要闻

顾客221元订酒店 商家仅获40.67元:订单底价高达1573元

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

篡改红歌已立案,郭德纲大祸临头

财经要闻

可治疗癌症?神话破灭的片仔癀 陷入争议

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

本地
房产
时尚
亲子
公开课

本地新闻

黄州一夜,苏轼写给普通人的月光

房产要闻

投资暴跌90%!文昌楼市,正在停摆!

换季搭配,怎么能少了牛仔外套?

亲子要闻

力安真的太好玩了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版