网易首页 > 网易号 > 正文 申请入驻

开发者用1B模型做了款视障App,拍照就能听见眼前

0
分享至

社区开发者 Rebel-Gloria 做了一款叫 PRTS 的 iPhone 和 iPad 应用,面向盲人和低视力用户。它的默认端侧视觉理解能力,由 MiniCPM-V 4.7 1B 驱动。


用法很直接:举起手机拍一张,听一段对周围环境的简短描述。这是 PRTS 的核心场景之一。

围绕这个核心,应用还铺开了几项能力:

  • 读文字:拍下标牌、告示或印刷页面,让应用念出来。
  • 追问细节:用语音输入,就当前画面里的内容继续提问。
  • 障碍引导:一套独立的激光雷达(LiDAR)系统,在支持的设备上提供语音方向和节奏性触觉提示。
  • 无障碍操作:支持 VoiceOver、动态字体、物理按键、轻点背面和 Siri 快捷指令等多种交互方式;另有专门的低视力模式,保留相机预览、场景描述和文字朗读。

联网这件事被拆开处理。日常的场景描述和文字朗读,靠内置的 MiniCPM-V 模型可以离线完成;可选的在线功能和系统语音识别,则有各自的联网要求。

一个 1B 规模的端侧模型,撑起的是拍照、听描述、读文字这条最常用的链路。对看不见屏幕的人来说,少一次联网等待,就少一层使用门槛。

项目已在 GitHub 开源,模型权重发布在 Hugging Face 上,开发者可以自行查看实现细节。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

粤睇先生
2026-11-20 00:15:36
知名乐队主唱张宇去世!年仅48岁,生前爱喝啤酒,刚发布新歌

知名乐队主唱张宇去世!年仅48岁,生前爱喝啤酒,刚发布新歌

可乐谈情感
2026-11-19 16:39:10
勒夫:18年世界杯我选择让诺伊尔当一门,告诉特狮时我很难受

勒夫:18年世界杯我选择让诺伊尔当一门,告诉特狮时我很难受

懂球帝
2026-11-19 14:15:06
“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

南方都市报
2026-11-20 07:54:09
纪委重拳出击!15名央企领导被查,14家驻央企纪检可自办留置案!

纪委重拳出击!15名央企领导被查,14家驻央企纪检可自办留置案!

职场资深秘书
2026-11-19 16:17:48
台湾地区代表刚到深圳,第一时间就向大陆喊话,港媒点评一针见血

台湾地区代表刚到深圳,第一时间就向大陆喊话,港媒点评一针见血

古书奇谈
2026-11-19 12:21:48
高市早苗如此挑衅中国,离不开两名中国败类的影响和出谋划策!

高市早苗如此挑衅中国,离不开两名中国败类的影响和出谋划策!

阿胡
2025-12-26 13:24:43
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
炸锅 !宁德时代报警抓理想!双方分手内幕全曝光!

炸锅 !宁德时代报警抓理想!双方分手内幕全曝光!

电动内参
2026-11-19 16:02:28
售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

邻居的小蜘蛛
2026-11-17 16:27:34
海王星补刀:乌军炸桥含金量创世界第一

海王星补刀:乌军炸桥含金量创世界第一

YY团长
2026-11-19 23:20:14
终于有人说了句实话,英语一旦退出主科,后果普通家庭承受不起

终于有人说了句实话,英语一旦退出主科,后果普通家庭承受不起

许三岁
2026-10-30 07:19:11
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
离谱!宝妈纠结了,半岁儿子对猫严重过敏,仍舍不得送走,网友怒斥:去子留猫

离谱!宝妈纠结了,半岁儿子对猫严重过敏,仍舍不得送走,网友怒斥:去子留猫

山月记闻
2026-11-20 09:42:57
刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

看尽落尘花q
2026-08-23 19:28:46
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
“快醒醒,不要命了!”深夜高速一辆疾驰小车,情侣双双睡着,副驾还依偎在司机怀里!直到交警来电才惊醒……

“快醒醒,不要命了!”深夜高速一辆疾驰小车,情侣双双睡着,副驾还依偎在司机怀里!直到交警来电才惊醒……

佛山电视小强热线
2026-11-19 22:03:46
1993年三峡建委成立,李鹏任主任,五位副主任分别是谁

1993年三峡建委成立,李鹏任主任,五位副主任分别是谁

老范谈史
2026-11-19 14:45:38
为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

回京历史梦
2026-11-18 10:06:16
老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

邵旭峰域
2026-11-18 13:40:14
2026-11-20 10:36:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
237文章数 92关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

房产
游戏
健康
亲子
教育

房产要闻

2.5亿!丁村侨中,新动作来了!

《GTA6》发售当天不工作?Pocketpair摆寿司开派对

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

治愈的三个萌娃瞬间,我撞见三个小萌娃并肩站《《》》

教育要闻

没有条件,创造条件也要上

无障碍浏览 进入关怀版