网易首页 > 网易号 > 正文 申请入驻

医生不在的11点,AI语音助手24小时守护农村健康——10天打造的双语分诊系统

0
分享至

在印度一个半城市化小镇的初级卫生中心(PHC),时钟指向晚上11点。一位患者的体温骤然升高,最近医生的门诊早已关闭数小时,而人们手中唯一的电话号码,是从一张褪色宣传单上抄下来的——甚至可能已经停机。这样的场景,在印度数千个服务农村和半城市化地区的初级卫生中心里反复上演。人们需要在任何时刻,用自己的语言,获得即时可靠的医疗信息,这是一个非常真实、非常人性化的基础设施缺口。 这正是我开发 AshaAssist(आशाअसिस्ट)所要解决的问题——一个实时的、双语(印地语/英语)AI语音助手。它通过自然语音对话,完成医疗分级分诊、提供紧急初级卫生中心联系方式、查询门诊(OPD)预约名额。这篇文章将带你了解它的架构、功能、我在开发中战胜的Bug,以及一步步的运行指南——你完全可以克隆仓库,在本地运行起来。 仓库地址:github.com/pvsatvika/murf-livekit-starter ## 问题与目标用户 印度农村和半城市化地区的医疗可及性,受几个反复出现的痛点制约: - **初级卫生中心排队漫长**:很多基础分诊和预约查询,其实不需要亲自跑一趟,却不得不面对面排队。 - **语言障碍**:大多数医疗科技工具默认只支持英语界面,把大量更习惯用印地语交流的人群排除在外。 - **没有24/7信息层**:初级卫生中心的工作人员不会全天候在岗,但“最近的急救电话号码是什么”“明天门诊几点开门”这类问题,不会等到上班时间才出现。 - **文字应用的数字化素养低**:对于许多首次使用智能手机的人而言,语音是比表单或聊天机器人界面摩擦低得多的交互方式。 目标用户包括: - 农村和半城市化地区的患者(以及他们的家人),需要快速的分诊指导或紧急联系方式。 - 护理人员,需要预约或查询门诊(OPD)名额。 ## 解决方案:AshaAssist 的整体设计 AshaAssist 是一个语音优先(Voice-First)的代理系统,核心思路是让用户用最自然的说话方式,完成原本需要到场或拨打电话才能完成的医疗信息查询。它采用实时语音管道,支持两种语言无缝混说,用户说印地语或英语,系统都能正确理解并回应。 系统架构分为四层: 1. **语音识别(STT)**:使用流式语音识别,实时将用户说的话转成文本。为了适应印度口音,选择了对多语种支持较好的识别引擎,并做了针对印地语-英语混合语的优化。 2. **意图理解与业务逻辑**:基于大语言模型(LLM)驱动的对话管理,识别用户的意图——是“分诊咨询”“找紧急电话”还是“查预约名额”。每个意图对应一套明确的业务流程,避免模型自由发挥导致错误医疗建议。涉及分诊问题时,系统会询问症状、持续时间、严重程度,然后根据内置的医学规则给出建议。 3. **信息查询与集成层**:通过与初级卫生中心的数据接口对接,实时获取门诊预约名额和联系方式。对于无法在线获取的数据,系统会通过配置好的知识库进行回答。 4. **语音合成(TTS)**:响应文本生成后,使用高自然度的神经语音合成,以印地语或英语朗读出来。这里用到了 Murf TTS,让语音听起来更温暖、更贴近人声。 这种分层设计,达到了两个关键目标:低延迟(从用户说完到听到回答,控制在2秒内)和强可控性(医疗相关内容不允许模型自由发挥,必须走预定义的规则和审核流程)。 ## 功能特性 - **智能分诊**:用户描述症状后,系统会评估紧急程度,给出“在家观察”“尽快去诊所”或“立即拨打急救电话”等分层建议。它不会替代医生,但能帮助用户做出更明智的初步决策。 - **紧急联系信息查询**:只需问一句“最近的急救电话是什么”,系统就会根据用户所在位置,返回对应的初级卫生中心电话,并自动调用 TTS 读出来。 - **门诊(OPD)预约查询**:用户可以询问“明天门诊还有名额吗”,系统直接查询当前诊所的预约系统,用语音回复剩余名额和预约方式。 - **全双语支持**:中英文混合也不怕。例如“明天 ke liye slot hai?”(明天有号吗?)这样的句子,也能被正确解析。 - **全天候在线**:基于云端部署,没有下班时间。夜里11点的尖叫,凌晨3点的低烧,它都在。 ## 开发中遇到并战胜的Bug 分享两个印象最深的故障: 第一个是 **混合语言的幻觉问题**。最初用单一语言模型处理印地语-英语混说,结果模型经常“幻觉”出一些不存在的药名。排查后发现,是语言模型在印地语提示词中丢失了上下文。解决方案是引入语言标识符,在输入给LLM之前,先将句子按语言片段标记,再把双语提示词模板拆成两套,分别处理后再合并回应。这避免了跨语言的语义混乱。 第二个是 **TTS 打断问题**。当用户急忙插话时,系统会停止当前的语音,但偶尔会残留尾音,造成“鬼影”效应。原因是流式语音合成和暂停逻辑在 WebSocket 层没有同步好。修复方法是引入独立的音频轨道状态机,在检测到语音激活(VAD)时,强制清空合成缓存,并重置时间戳。 这些Bug虽然让人抓狂,但每一个都让系统的稳定性跨上一个台阶。 ## 一步步运行指南 你可以通过以下步骤在本地运行 AshaAssist: 1. 克隆仓库: ``` git clone https://github.com/pvsatvika/murf-livekit-starter ``` 2. 安装依赖: ``` npm install ``` 3. 配置环境变量。你需要一个 **LiveKit** 实例(用于实时语音传输)、**OpenAI API Key**(用于对话理解)以及 **Murf API Key**(用于语音合成)。在 `.env` 文件中填写: ``` LIVEKIT_URL=wss://your-livekit-server LIVEKIT_API_KEY=... LIVEKIT_API_SECRET=... OPENAI_API_KEY=... MURF_API_KEY=... ``` 4. 启动服务: ``` npm run dev ``` 5. 打开前端页面,允许麦克风权限,点击开始对话。此时你和系统之间就建立了一条实时语音通道。 注意:由于涉及医疗建议,请务必在生产环境中接入真实诊所的数据,并让专业医务人员审核对话逻辑。本仓库仅用于技术演示,不构成医疗建议。 ## 未来展望 AshaAssist 目前已在演示环境中稳定运行。下一步,我计划增加更多印度地方语言(如泰米尔语、泰卢固语),并接入电子健康档案(EHR)系统,让它在分诊时能结合用户历史数据。同时,我们希望降低部署成本,让每一个初级卫生中心都能负担得起。 晚上11点的印度乡村,不再只有沉寂的电话线和褪色的宣传单。有了AshaAssist,一个语音、一个句子,就能接通医疗信息。这是我在 #10DaysOfVoiceAgents 活动中的第10天作品,也是为 #VoiceForBharat 献上的一份小小礼物。 如果你也在做类似的事情,欢迎在仓库中提Issue或PR。让我们一起,把声音变成守护更多人健康的工具。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
首秀0-3惨败,内斯塔:半场结束应该换掉所有人,包括我自己

首秀0-3惨败,内斯塔:半场结束应该换掉所有人,包括我自己

懂球帝
2026-08-15 12:37:13
41国联合声明给中国试射导弹划三条规矩 中方回应绝不接受

41国联合声明给中国试射导弹划三条规矩 中方回应绝不接受

闻识
2026-08-15 13:05:48
叶珂承认已和黄晓明孕晚期分手,黄晓明妈妈只管杨颖儿子

叶珂承认已和黄晓明孕晚期分手,黄晓明妈妈只管杨颖儿子

西楼知趣杂谈
2026-08-15 14:18:15
“满脸都是放纵的痕迹”,母亲晒大三儿子面相变化,被知情人说中了

“满脸都是放纵的痕迹”,母亲晒大三儿子面相变化,被知情人说中了

熙熙说教
2026-08-15 13:50:35
15日晚间大满贯:4强诞生勒布伦惨败,张本剃光头,松岛无奈了!

15日晚间大满贯:4强诞生勒布伦惨败,张本剃光头,松岛无奈了!

临云史策
2026-08-15 21:30:20
妻子突发急症抢救,丈夫花光10万元积蓄准备放弃,邻里乡亲紧急凑了4万元;有人不会用微信转账,拿着现金赶来

妻子突发急症抢救,丈夫花光10万元积蓄准备放弃,邻里乡亲紧急凑了4万元;有人不会用微信转账,拿着现金赶来

环球网资讯
2026-08-15 17:21:14
拔出萝卜带出泥!郭德纲被立案后,妻子王惠幕后身份也浮出水面

拔出萝卜带出泥!郭德纲被立案后,妻子王惠幕后身份也浮出水面

草莓解说体育
2026-08-15 12:58:08
连续32年未进行捕捞,三峡水库中的鱼,最大的已经长到多大了?

连续32年未进行捕捞,三峡水库中的鱼,最大的已经长到多大了?

抽象派大师
2026-08-14 16:40:49
独闯南太行失联6天的56岁男子疑被找到,知情人称在一处瀑布下方的水潭发现遗体,家属正赶来确认

独闯南太行失联6天的56岁男子疑被找到,知情人称在一处瀑布下方的水潭发现遗体,家属正赶来确认

极目新闻
2026-08-15 18:13:30
被立案仅2天,郭德纲再迎新麻烦,岳云鹏才是德云社真正的聪明人

被立案仅2天,郭德纲再迎新麻烦,岳云鹏才是德云社真正的聪明人

小鋭有话说
2026-08-15 19:09:39
动手了,伊朗真的敢打了!

动手了,伊朗真的敢打了!

故事终将光明磊落
2026-08-15 09:56:40
史上最大IPO要来了

史上最大IPO要来了

新浪财经
2026-08-15 16:58:18
中方下达“拖船令”后,马科斯态度大转变:没想疏远,我们想合作

中方下达“拖船令”后,马科斯态度大转变:没想疏远,我们想合作

讲者普拉斯
2026-08-15 09:08:36
悲痛!不到48小时三名人相继辞世,最大105岁,每一位都让人不舍

悲痛!不到48小时三名人相继辞世,最大105岁,每一位都让人不舍

就一点
2026-08-14 16:07:23
中超无罚分积分榜:成都继续9分领跑,“鲁京花”分列2-4位

中超无罚分积分榜:成都继续9分领跑,“鲁京花”分列2-4位

懂球帝
2026-08-15 22:05:51
成都蓉城让二追三!破49天不胜魔咒,6战浙江不败,拜合拉木绝杀

成都蓉城让二追三!破49天不胜魔咒,6战浙江不败,拜合拉木绝杀

奥拜尔
2026-08-15 21:46:34
从0-1到4-1!上海申花成功逆袭,高天意爆发:替补传射建功

从0-1到4-1!上海申花成功逆袭,高天意爆发:替补传射建功

足球狗说
2026-08-15 21:53:17
3.2亿灵活就业,​意味着什么?​

3.2亿灵活就业,​意味着什么?​

律法刑道
2026-08-15 11:24:17
告别百万年薪,华为“天才少年”宁博宇:要去瑞典做博士后

告别百万年薪,华为“天才少年”宁博宇:要去瑞典做博士后

红星新闻
2026-08-15 16:38:56
WTT瑞典大满贯:女单4强席位出炉!王曼昱拒绝大爆冷,4:1大逆转

WTT瑞典大满贯:女单4强席位出炉!王曼昱拒绝大爆冷,4:1大逆转

国乒二三事
2026-08-15 18:54:18
2026-08-15 23:35:00
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
415文章数 82关注度
往期回顾 全部

科技要闻

600亿美元收购落地 马斯克正式杀入

头条要闻

"榜一大哥"打赏女主播超千万要求陪睡 女方拒绝被起诉

头条要闻

"榜一大哥"打赏女主播超千万要求陪睡 女方拒绝被起诉

体育要闻

体系球员与体系本身

娱乐要闻

宋慧乔晒自拍照 微笑拍照心情佳

财经要闻

便利蜂加盟遭立案:"0元加盟"生意被查

汽车要闻

杨洋成001号车主 岚图追光S正式上市

态度原创

健康
艺术
数码
旅游
公开课

专家解答青少年脊柱侧弯七大问题

艺术要闻

25幅 中国当代画家的冬天油画

数码要闻

老板电器AI烹饪科技体验日:AI走进厨房,厨电行业寻找新的增长逻辑

旅游要闻

“凉气候”带来“热经济” 贵州避暑旅游人气旺

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版