网易首页 > 网易号 > 正文 申请入驻

Cell子刊:金凯团队开发自主多模态眼科AI智能体——AgentEYE,实现证据驱动、可追溯的眼科诊断支持

0
分享至

撰文丨王聪

编辑丨王多鱼

排版丨水成文

多模态眼科诊断需要整合眼底摄影、B 超和医学证据,但大多数人工智能(AI)系统仍停留在单任务或弱依据层面。

2026 年 8 月 18 日,浙江大学医学院附属第二医院金凯团队在 Cell 子刊Cell Reports Medicine上发表了题为:An autonomous multimodal AI agent for evidence-grounded ophthalmic diagnosis 的研究论文。

该研究开发并系统性评估了自主多模态眼科 AI 智能体——AgentEYE,其整合了专业眼科影像工具、医学证据检索和大语言模型综合推理,将眼科 AI 从单一影像分类推进到可追溯、可审计的多模态诊断支持。


人工智能(AI)在眼科领域取得了突破性进展,深度学习模型在糖尿病视网膜病变筛查、基于光学相干断层扫描(OCT)的视网膜层分割以及青光眼视神经病变自动检测等任务中已达到专家水平甚至更优表现。然而,这些系统目前仍主要局限于单模态、特定任务的应用——即针对单一图像类型或预定义病灶进行识别的孤立分类器。它们往往无法体现眼科医生的综合判断能力,而眼科医生通常会整合多种影像学检查(例如眼底照相、B 超和 OCT)、临床病史以及指南指导下的鉴别诊断,以应对诊断不确定性并制定循证治疗方案。

大语言模型(LLM)的出现推动了人工智能向具备多模态推理和医学知识整合能力的通用型 AI 范式转变。诸如 GPT-4 等模型已在解读复杂临床病例方面展现出接近人类水平的能力,并在如美国医师执照考试等标准化考试中取得及格成绩。配备视觉-语言能力的 LLM 已开始连接文本与影像,能够基于眼底图像生成初步报告,或根据病史对紧急转诊进行初步分诊。然而,尽管取得了这些进展,通用型多模态 LLM 在临床眼科领域仍存在局限性:细微的形态学特征(例如早期视网膜前膜或浅层脱离)以及跨模态关联对诊断和治疗决策至关重要。目前相关研究中的 LLM 仍仅作为被动预测工具,而非主动的诊断助手,无法协调不同成像模态、执行迭代验证,也无法整合结构化的眼科知识以支持安全的临床决策。

近期应对这些挑战的努力已开始采用眼科专用的微调方法,或从教科书和临床指南中进行检索增强生成(RAG),从而提升了事实记忆能力和领域一致性。然而,这些方法在很大程度上仍处于静态状态,缺乏自主或自适应推理能力。

在这项最新研究中,研究团队开发并评估了AgentEYE——这是一种专为基于循证医学的眼科诊断与决策支持设计的自主多模态临床 AI 智能体。它将基于大语言模型(LLM)的推理核心与眼科领域特定的影像工具、指南驱动的检索系统以及网络证据搜索功能相结合,用于处理眼底图像和 B 超图像,并生成基于证据的综合报告。

在包含 302 例病例的内部基准测试中,AgentEYE在诊断正确性和完整性方面优于仅使用大语言模型(LLM)的基线模型,以及未配备专用成像工具的消融版本;其性能与不进行检索的消融版本相似,表明检索主要支持证据依据和引用可审计性。三位眼科医生对 200 例病例的盲法评估证实,相较于仅使用 LLM 的自我引用基线,AgentEYE 在诊断正确性、完整性、安全性以及引用依据方面均有所提升。外部分析显示,AgentEYE 的性能具有分布依赖性。


总的来说,这些发现支持 AgentEYE 作为可追溯的决策支持原型,但在临床工作流程部署前,仍需开展前瞻性多中心验证。

论文链接:

https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(26)00386-1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

杨华评论
2026-11-19 00:00:49
“10万元轿车”销量之王:悄无声息拿了第一,月销达17160台

“10万元轿车”销量之王:悄无声息拿了第一,月销达17160台

柳先说
2026-11-11 17:52:28
晚发射的旅行者1号,为何比2号早近十年飞出一天光程?

晚发射的旅行者1号,为何比2号早近十年飞出一天光程?

地球观察日记
2026-11-18 06:06:26
为啥很多人不愿做颈动脉彩超?医生:查一次,能7年躲开脑梗

为啥很多人不愿做颈动脉彩超?医生:查一次,能7年躲开脑梗

华庭讲美食
2026-11-19 04:22:13
前队友爆料!双探花从第一天起就关系紧张:布朗关注度难比塔图姆

前队友爆料!双探花从第一天起就关系紧张:布朗关注度难比塔图姆

罗说NBA
2026-11-19 07:33:44
阿根廷前国脚巴内加宣布退役:哪怕梅西邀请我去迈阿密,我也不干

阿根廷前国脚巴内加宣布退役:哪怕梅西邀请我去迈阿密,我也不干

懂球帝
2026-11-19 00:30:49
雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

文史达观
2025-07-21 12:48:03
美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

无心小姐姐
2026-11-18 10:05:20
抓马!辩方对邝球“放大招”,质疑他袭击蔡天凤,帮了控方大忙

抓马!辩方对邝球“放大招”,质疑他袭击蔡天凤,帮了控方大忙

小鋭有话说
2026-11-18 22:00:17
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
Anthropic IPO定价上调至83美元;英伟达临时CEO承诺12月提前加薪及发放额外股权激励|全球科技早参

Anthropic IPO定价上调至83美元;英伟达临时CEO承诺12月提前加薪及发放额外股权激励|全球科技早参

每日经济新闻
2026-11-19 07:56:52
美国收紧对五国先进芯片出口!外交部商务部发声:若美方一意孤行将反制

美国收紧对五国先进芯片出口!外交部商务部发声:若美方一意孤行将反制

快科技
2026-11-18 08:58:03
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
刚刚公布!湖北,又有重大发现

刚刚公布!湖北,又有重大发现

极目新闻
2026-11-18 12:00:27
黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

秋风妃
2026-11-15 21:39:48
王毅当面说了重话,看在老熟人的面子上,他对日本言尽于此

王毅当面说了重话,看在老熟人的面子上,他对日本言尽于此

浮黎礼
2026-09-29 17:50:15
历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

龙隐天下
2026-11-17 00:45:31
国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

扶苏聊历史
2026-10-09 10:45:34
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
为获得稀土技术,欧美从中国大肆收买稀土人才?中国如何应对?

为获得稀土技术,欧美从中国大肆收买稀土人才?中国如何应对?

阿胡
2025-06-30 10:52:57
2026-11-19 08:31:00
生物世界 incentive-icons
生物世界
最前沿、最有趣的生命科学研究
10366文章数 145202关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
本地
时尚
数码
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

看来看去裤子还是没必要买太多,准备一条黑色长裤,实用又百搭

数码要闻

1499元 AOC新款27寸显示器上市:2K 120Hz屏、内置双扬

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版