社区开发者 Rebel-Gloria 做了一款叫 PRTS 的 iPhone 和 iPad 应用,面向盲人和低视力用户。它的默认端侧视觉理解能力,由 MiniCPM-V 4.7 1B 驱动。
![]()
用法很直接:举起手机拍一张,听一段对周围环境的简短描述。这是 PRTS 的核心场景之一。
围绕这个核心,应用还铺开了几项能力:
- 读文字:拍下标牌、告示或印刷页面,让应用念出来。
- 追问细节:用语音输入,就当前画面里的内容继续提问。
- 障碍引导:一套独立的激光雷达(LiDAR)系统,在支持的设备上提供语音方向和节奏性触觉提示。
- 无障碍操作:支持 VoiceOver、动态字体、物理按键、轻点背面和 Siri 快捷指令等多种交互方式;另有专门的低视力模式,保留相机预览、场景描述和文字朗读。
联网这件事被拆开处理。日常的场景描述和文字朗读,靠内置的 MiniCPM-V 模型可以离线完成;可选的在线功能和系统语音识别,则有各自的联网要求。
一个 1B 规模的端侧模型,撑起的是拍照、听描述、读文字这条最常用的链路。对看不见屏幕的人来说,少一次联网等待,就少一层使用门槛。
项目已在 GitHub 开源,模型权重发布在 Hugging Face 上,开发者可以自行查看实现细节。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.