网易首页 > 网易号 > 正文 申请入驻

谷歌DeepMind发布手语转文本模型,手语AI首次落地消费电子

0
分享至

当地时间8月12日,谷歌旗下DeepMind对外发布全新多语言手语转文本模型 SL2T,这项手语人工智能技术正式搭载至 Pixel11 手机系统,实现手语AI第一次落地普通消费电子产品,补齐听障群体智能终端交互短板。

本次上线的 SL2T 模型,最先适配 Pixel 11 内置 Gboard 键盘、实时转写 Live Transcribe 两款工具。手机前置摄像头捕捉使用者动作之后,用户便可依靠比出手语完成消息编辑、网页检索、和 Gemini 大模型对话等原本需要手动打字的操作。内测数据显示,使用者使用美国手语输入文字,效率和自然度优于手动键盘打字,沟通体验大幅提升。

在底层训练层面,SL2T 依托超过50种手语、累计10万小时时长的手语素材完成训练,四分之一训练素材来自美国手语数据集。跨语种的联合训练方式,让模型摸索不同手语之间共通的动作逻辑,识别效果优于单语种手语模型,在 FLEURS‑ASL 评测基准刷新当下手语转写模型测评记录。

长久以来语音转文字、语音输入已经成为智能手机标配功能,方便普通使用者解放双手完成文字录入。但全球现存超200种手语,大约7000万听障人群长期缺少适配移动端、成熟稳定的手语识别工具,手语相关技术大多停留在实验室研发阶段,很难面向普通用户落地使用,移动端无障碍交互长期存在缺口。

新功能使听障人士也享受到类似语音输入的灵活 " 打字替代 " 体验。不同于过往手语识别产品需要先将手势对应固定标签词汇再转换成文字,SL2T 省去中间注解流程,直接解析人体动作坐标生成文本。手语属于独立语言,面部神态、肢体空间位置、唇部动作都会承载语法含义,传统标签式识别方式容易丢失非手部动作携带的语义,全新架构能够打破固定词汇库的桎梏,识别上限随着训练素材扩充持续提高。

隐私防护同样是本次模型的重点设计。手机端 MediaPipe Holistic 工具实时追踪手部、面部、躯干合计130处关键点,设备只会向外传输动作坐标数据,拍摄产生的原始视频画面即时删除,不会上传云端,规避拍摄画面泄露带来的隐私隐患。

据 DeepMind 团队介绍,项目全程吸纳听障从业者、手语顾问委员会参与产品迭代,贴合手语使用者日常沟通习惯。现阶段该功能仅开放美国手语转英文,后续谷歌计划逐步适配更多手语种类,并且向更多安卓机型铺开该无障碍功能。

手语模型并不是 DeepMind 初次尝试的残障群体无障碍AI项目,2025年5月科研团队对外官宣开源手语互译模型 SignGemma,依托轻量化 Gemma 架构搭建手语翻译框架,主要针对美国手语开展优化,为如今 SL2T 消费级落地打下算法根基。

除此之外实验室还研发过多项普惠技术:依托自研 WaveNet 语音合成算法,帮助肌萎缩侧索硬化症患者复刻出事前原生嗓音;Euphonia 专项项目专门辨识中风、失语病患造成的含糊不清语音,破解言语障碍人群设备交互难题。谷歌移动端无障碍产品线 Live Transcribe 多年迭代音频转写算法,长期为听障用户提供日常声音字幕,多年的声学‑视觉多模态经验,全部赋能本次手语识别模型开发。

多家科技厂商已经加速布局面向残障群体的 AI 无障碍赛道,国内科大讯飞旗下讯飞听见,通过听力残疾认证的用户可以享用免费实时语音转写、带有月度时长配额的会议同传权益;华为依托鸿蒙大模型打造完整助残工具包,AI 眼镜借助 “小艺看世界” 帮助视障人士识别路况障碍,小艺AI语音修复优化失语者含糊的发声;苹果升级 iPhone、Vision Pro 端侧 AI,设备搭载智能实时字幕、图片详情解析功能,Vision‑Pro 专属新增眼动操控兼容外接电动轮椅的无障碍功能。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国家出手了!用大陆盾构机挖边境隧道?这口恶气,中国彻底不忍了

国家出手了!用大陆盾构机挖边境隧道?这口恶气,中国彻底不忍了

疯狂小菠萝
2026-10-20 14:59:27
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
理想发布连山电池保障计划:两项终身保障,电池不自燃碰撞不起火

理想发布连山电池保障计划:两项终身保障,电池不自燃碰撞不起火

薛定谔的BUG
2026-10-20 20:31:23
幼儿园女老师赌气炒股,亏掉60万后:老公买房同样亏 60 万,凭什么他算投资我算赌?

幼儿园女老师赌气炒股,亏掉60万后:老公买房同样亏 60 万,凭什么他算投资我算赌?

民生故事会
2026-10-19 19:12:52
马龙怎么也不会想到!自己38岁生日的风头被一个没到场的兄弟抢了,许昕两条评论让老球迷破防

马龙怎么也不会想到!自己38岁生日的风头被一个没到场的兄弟抢了,许昕两条评论让老球迷破防

篮球热嗖
2026-10-21 15:21:46
商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

证券时报
2026-10-21 21:26:09
轰38分5断!乔治首秀刷新队史纪录,绿军交易不亏,但选错老大了

轰38分5断!乔治首秀刷新队史纪录,绿军交易不亏,但选错老大了

你的篮球频道
2026-10-21 07:12:47
为什么说王耀武的部队是国军中伙食的天花板?

为什么说王耀武的部队是国军中伙食的天花板?

忽泓护
2026-10-20 10:41:16
不出意外,明年开始,房价、房租、物业费或迎新一轮大洗牌

不出意外,明年开始,房价、房租、物业费或迎新一轮大洗牌

专业聊房君
2026-10-19 18:59:59
“这种环境都能排卵?”女毕业生表白单位男领导,评论区炸锅了

“这种环境都能排卵?”女毕业生表白单位男领导,评论区炸锅了

世界圈
2026-10-05 20:58:42
若是父母患有这5种疾病,很有可能遗传给下一代,要提前做好防护

若是父母患有这5种疾病,很有可能遗传给下一代,要提前做好防护

轩辕岛
2026-10-20 12:05:06
韩国股市,涨熔断了

韩国股市,涨熔断了

新浪财经
2026-10-21 10:24:23
真打不动了!上映15天票房才拿下6000万

真打不动了!上映15天票房才拿下6000万

草莓解说体育
2026-10-20 18:21:49
日军为啥要在帽子上挂两块布?专家:此举可帮日军减少10万伤亡

日军为啥要在帽子上挂两块布?专家:此举可帮日军减少10万伤亡

鉴古知微
2026-10-14 03:09:52
重庆警方启动专项行动,严查客运车辆疲劳驾驶等违法行为

重庆警方启动专项行动,严查客运车辆疲劳驾驶等违法行为

上游新闻
2026-10-20 22:08:40
贵州省黔西南州林业局党组书记、局长刘华接受纪律审查和监察调查

贵州省黔西南州林业局党组书记、局长刘华接受纪律审查和监察调查

贵阳网
2026-10-20 10:46:13
汪小菲全家逛湾湾夜市,状态彻底蜕变,烟火气藏不住幸福!

汪小菲全家逛湾湾夜市,状态彻底蜕变,烟火气藏不住幸福!

孤城落日
2026-10-21 04:04:28
我决定:职工医保也不交了

我决定:职工医保也不交了

亮见
2026-10-21 15:58:14
《死或生7》开发照片疑曝光 加入至少五名新斗士

《死或生7》开发照片疑曝光 加入至少五名新斗士

3DM游戏
2026-10-20 14:13:05
杨振宁辞世1年,翁帆首谈感情,假若人生重来,她会舍弃这个念头

杨振宁辞世1年,翁帆首谈感情,假若人生重来,她会舍弃这个念头

冰语历史
2026-10-15 15:15:26
2026-10-21 22:31:00
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1197577文章数 1341111关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

李昌钰博士将安葬于扬州 妻子:他求婚时曾说"我养你"

头条要闻

李昌钰博士将安葬于扬州 妻子:他求婚时曾说"我养你"

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

智驾摩尔定律一年十倍跃升 2028迎来L4拐点

态度原创

教育
旅游
本地
数码
公开课

教育要闻

非常简单的五年级几何题,全班准确率不到10%

旅游要闻

南京、镇江旅游福利互通!年卡优惠、票根福利、双城线路来了

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

数码要闻

《绝区零》HOLLOW RECALL空洞回响系列NFC亚克力音乐播放器,本体129元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版