超声影像一直是临床医生的"实时望远镜"——无辐射、成本低、即查即看。但AI读超声,像极了让外国人听方言:每个字都认识,连起来就懵圈。
问题出在数据。主流医疗AI数据集里,CT、MRI占绝对主流,超声样本不足5%,像个被遗忘的方言区。更麻烦的是,同一张超声图,报告描述五花八门:"边界不清"和"轮廓模糊"可能说的是一回事,传统对比学习却把它们当成两码事。
浙大城市学院联合浙大、港城大等团队,干脆给超声AI编了套"母语教材"——US-365K数据集,36.4万对图文,100%纯超声,零掺水。配套推出的Ultrasound-CLIP框架,被CVPR 2026接收,代码和数据已开源。
这套"教材"的精髓在于先立规矩。团队拉上临床医生,把超声诊断拆解成9大维度:身体系统、器官、诊断结果、形状、边缘、回声性……每个维度配一套标准词汇表。就像给方言配了普通话对照表,"边界不清"和"轮廓模糊"终于能对上号。
模型设计也顺着临床思维来。文本编码时,先把诊断标签和属性建成一张关系图,再用图神经网络"读"出病灶和特征的关联——不是死记硬背关键词,而是理解"这个结节边缘不规则+回声不均"意味着什么。
训练时玩了个双目标:一边让图文对齐,一边让语义相似的样本在向量空间里抱团。效果很实在:病灶边缘识别准确率84.44%,图文检索TOP10命中率37.45%,在乳腺、胃肠等四个下游数据集上零样本就能用。
有个细节挺有意思:数据经专家逐例审核,有效率超90%。团队没追求"大数据"的虚荣,而是确保每对图文都经得起临床推敲——毕竟超声AI要进诊室,容不得"差不多"。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.