万仞AI发布全球首个8模态医疗大模型“董奉”

（原标题：万仞AI发布全球首个8模态医疗大模型“董奉”）

作为新一轮科技革命与产业变革的关键驱动力，以大模型为代表的生成式人工智能等前沿技术正在持续迭代发展，与社会生产生活深度融合，形成新质生产力。

近日，人工智能产业大模型创新企业万仞AI，基于自研大模型平台，正式发布全球首个8模态医疗大模型——董奉大模型，面向患者、医护人员及医院管理人员，提供包括在线健康助理、智能分诊预诊、初级医护指引、病历校验质检、医生工作助理、诊后随访助理、专家实时分身会诊以及医疗绩效考核、控费管理等覆盖全病程的大模型应用。

该产品在全球范围内首个实现支持语音(如实时语音对话)、文字(如病历/处方/报告)、图像(如医疗影像/手机照片/病理学图片)、视频(如实时分身/自录视频/内镜/患者教育)、情感(如语气/情绪/行为)、结构化数据(如检验/诊断/医学KG)、电信号(如脑波/脉象/肌电)及生物信息(如基因数据)共计8个模态的输入与输出。

目前，万仞AI已与吉林大学、实在智能、威能思软等机构达成战略合作，成功搭建AI科技研究基地和产研合作中心，并已定向在某省人民医院(三甲)、某省人民医院分院(二甲)和某市级互联网医院平台等多家客户完成实际落地。

万仞AI由前Momenta产品与工程副总裁王荣兴(Charles Wang)于2023年6月创立，致力于为企业客户提供高强度数据安全的私有化、定制化、自动化与轻量化的企业级大模型解决方案，已于2023年10月获得由银瓴投资领投的数千万元种子轮投资。

“公司已构建高技术壁垒的大模型Agent平台，自研的多模态大模型以独创的Memex技术加持，在抑制大模型幻觉及强化专业逻辑思考方面取得创新性突破。加之自动化的数据与模型产线，实现动态训练升级的强化飞轮，持续为行业客户提供技术领先、专业、安全、高性价比的AI产品，输出新质生产力，助力产业转型升级”，万仞AI创始人兼CEO王荣兴表示。

董奉大模型，驱动医疗产业全面升级的“新引擎”

随着大数据、人工智能等技术与医疗健康领域的深度融合，混合医疗模式正在从概念走向现实，从试点应用迈向规模推广。无论是传统AI还是当下的大模型，医疗领域一直都是典型且亟需技术支持的大行业场景。当前，大模型在医疗领域的应用，仍然面临着技术与数据门槛高、安全合规要求高、大模型易产生幻觉、以及专业思考逻辑欠缺等多个挑战。

为此，万仞AI创新推出董奉大模型，其名字源自“建安三神医”之一的董奉，与华佗、张仲景齐名。董奉因其仁心仁术而著称，悬壶济世，赈济百姓，从而开创了“杏林文化”。董奉大模型在保障医院私有数据与医生私有知识安全的基础上，通过实时多模态分身应用，打造医疗领域的超级入口，延伸医疗专业知识、医护临床经验的触达半径;借助多模态全病程的智能服务，成为驱动医疗产业升级的新引擎，助力医疗资源的优化配置和高效利用，推动健康服务向预防性、智能化、远程化、个性化、普及化等多个方向发展。

实时多模态分身，打造软硬一体化的“超级入口”

“大医院人满为患，小医院门可罗雀”是全世界医疗资源不均衡的普遍现象。如何在现有医疗资源、医护人员的基础上释放最大的专业效能，是混合医疗时代探索的关键方向。

董奉大模型通过为医疗机构、互联网医院服务机构提供实时多模态分身及适配各类场景硬件的应用形态，形成医疗领域新一代软硬一体化的超级入口，延伸医疗专业资源的触达半径与规模效应。

企业用户只需提供一段视频即可快速生成专属的实时多模态分身。在Sora等基于文字驱动虚拟形象生成(AIGC)的模式之上，万仞AI的8模态大模型区别于传统大模型，能够精细化、全方位克隆真实人物特征，通过头发、眼神、面部表情、情绪甚至是唇部动作，及与之同步的语音、音色、语言习惯、逻辑判断、临床思维的实时生成，打造栩栩如生的交互体验。

实时多模态分身基于背后的董奉大模型，能够以实时视频沟通的形式与用户持续进行个性化对话，而非预设脚本的循环录播，更适用于对实时交互、专业准确要求极高的医护场景。该产品可作为在线健康助理、智能分诊预诊、诊后随访助理以及专家实时分身会诊等线上线下医疗场景的交互入口，基于多种交互形式服务患者需求，辅助医生工作，让每个个体无论何时何地都能获取高质量的健康服务。

万仞AI的实时多模态分身目前已与立式大屏、平板小屏以及个人手机等多种硬件适配，同时正在和床头屏、智能音箱、耳机、助听器等设备适配，未来还将集成穿戴设备、摄像头、卫星定位等组件形成软硬一体化的规模落地，成为兼顾产业、企业B端场景与家庭、用户C端应用的“超级入口”级产品。

升级互联网就医体验，深度助力全病程服务

“排队几小时、看病两分钟”的就医痛点或将化解。董奉大模型整合线上线下医疗资源与专业私有数据，基于实时多模态分身的视频、语音、文字等交互形态，打破传统物理时空限制，加速实现从患者排队等待就诊到中西医家庭医生健康服务直接入户的转变。

针对互联网医疗患者，董奉大模型利用AI多模态能力，更有效地采集患者全病程中的最新症状、治疗执行、不良反应、情绪等全方位数据，从而更精准地对患者病情、依从性等进行解读和预测，也能更精准地推荐患者进行必要的线上线下检查和治疗，甚至结合更丰富的因素特征逐渐形成可深入患者日常的数字疗法。

董奉大模型的发布也将有效弥补传统医疗服务中的“诊护断层”。传统医学检查方式在手术后康复监测中，往往存在需要他人协助、复查频繁等困难，以及医疗资源占用多、时间消耗大甚至数据记录不准确等弊端，亟需更高效、便捷且准确的新型监测技术方法，促进患者康复过程的连续优化管理。通过提供基于专业私有数据和AI大模型驱动的医疗健康服务，董奉大模型能够面向医生及患者实现从诊疗中到康复中的全程助理服务。

在诊疗过程中，「医生工作助理」随时理解语音等指令，实时进入各个系统动态查询信息，例如过往诊断结果、病人当前体征等并进行精准汇报，拥有ChatGPT等通用模型不具备的针对定制指令的适配能力，以及传统对话机器人不具备的复杂语义理解能力，实现医院场景中真正意义上的智能副手。

在诊疗结束后，「随访机器人」能够处理包括语音、文字、图像、视频、情绪、检验等多模态信息，基于微信聊天或电话对话分析形成随访记录，通过语音、视频或图例来指导并协助患者做日常检查动作并采集记录，及时发现病情反复并反馈医生，大幅提升随访工作的频率、效率与准确性，减轻患者和护理人员的负担。

服务医护群体与医院管理，增强资源配置能力

上述业务场景之外，董奉大模型也探索扩展实体医院医护群体、医院管理领域的服务能力。通过为医护群体提供「初级医护指引」「病例校验质检」等智能应用引擎，减轻医护工作负担。同时，为医院管理体系提供「国家医疗绩效考核」「方案综合费用控制」等需深度定制的功能支持，助力提升国家公立医院在医疗绩效考核中的表现，加强对医疗资源的有效管理与合理配置。

(基于董奉大模型的国考相关问题答案，严格遵循《国家三级公立医院绩效考核操作手册》等国家公立医院绩效考核官方文档生成，有效减少幻觉发生。而ChatGPT无法清晰理解并复述具体的官方文档内容细节。)

万仞产业大模型，创新技术构建差异化壁垒

区别于ChatGPT并与市场上大部分聚焦在通用模型层面的公司形成差异化竞争格局，万仞AI的企业战略立足于独特定位，介于通用大模型与专属定制之间，充分利用自身对本土环境的深刻理解和在地优势，致力于研发贴合我国国情且深入特定行业痛点的产业大模型解决方案。

以董奉大模型为例，在通用大模型的语言能力、基础推理、知识整合和常识的基础上，深度融合医疗行业的具体需求，对模型进行深度定制和优化剪裁。针对医疗行业所需的专业性和准确性进行深度优化，基于独创的Memex技术体系，以记忆增强技术抑制大模型常见的幻觉问题，以目标引导引擎加强专业逻辑思考能力，确保输入与输出信息的准确性与专业性。

万仞AI强调产品的“四化”优势，私有化、小型化、自动化与定制化。私有化，严格遵循中国国情和客户需求，确保产品适配医疗等专业场景对数据安全的高规格管控要求，通过客户私有数据包等产品创新，确保符合我国数据隐私保护、私有化部署以及国产软硬件适配等政策及机构规定。产品与模型设计追求小型化与低成本，通过模型蒸馏、剪枝、量化与token设计的多种优化，大幅提升显存利用率，使模型推理成本降低50倍，同时大幅降低训练成本，使客户的端侧部署变得可负担。依托万仞AI自研大模型的数据产线与模型产线，实现数据自动清洗、筛选、自标注、自探查以及模型的多级自动评测与灰度上线的自动化，极大提升了开发交付效率与产品质量，降低开发与维护带来的人力消耗，用户的定制化需求均能在强化飞轮的闭环中得到快速实现与持续增强。

董奉大模型受益于万仞AI自研的Memex三大开创性技术壁垒，可在专业领域中解决模型的幻觉及专业思考欠缺的问题：一是独创的私有数据包机制，将医生的专业经验、医疗案例和学术文献经过自标注的数据产线，消除原始数据形态，形成确保数据安全性的加密私有数据包，完成模型的自动强化训练;二是独有的xRAG记忆增强技术，负责保证数据的正确性，通过学习和存储客观事实性知识，使模型回答能够基于事实基础，避免幻觉;三是独特的Attention Engine目标引导引擎，聚焦构建复杂推理逻辑思维，捕捉在多模态信息中隐含的关键信息和医生的推理逻辑，确保产品在专业场景中的准确性和可靠性。

AI实战老将与精英科学家团队的双向奔赴

万仞AI创始人兼CEO王荣兴(Charles Wang)毕业于吉林大学，获数学本科学位(B.S.)与人工智能硕士学位(M.E.)，主攻生物信息学方向。在ToB实践中积累了长达22年、多达超400个AI项目成功落地的战绩。在Momenta任产品与工程VP期间，积累提升了公司的工程和量产能力，助力多家国内外Top车企实现规模化落地。

加入Momenta之前，王荣兴担任Aibee全球工程副总裁兼数据智能负责人，成功落地首都智慧机场、大兴智慧机场、广汽智慧门店、K11、周大福、印力、龙湖、太古里、小米等百余个AI项目。

更早时间，王荣兴曾在第四范式担任高级研发总监，主导公司主力产品先知平台3.0的研发与落地，达成18个行业及海外市场的成功扩张，取得并保持中国第一的市场份额(IDC 2019报告)。还曾作为架构师效力于IBM，负责IBM Watson AI平台在智慧医疗、AI安全、智造等行业的应用，而IBM Watson正是最早将领先AI技术引入医疗健康领域并引发全球热议的领军企业之一。

(万仞AI创始人兼CEO王荣兴在某省人民医院宣讲)

万仞AI更引入拥有超15年创新医工交叉落地经验的合伙人张轶伦(Vincent Zhang)，吉林大学软件工程本硕，其曾任IBM大中华区Watson医疗落地总监，长期服务于医院、药企、健康险、政府等机构。也曾任医渡科技国际医疗解决方案总监、百洋智能科技人工智能研究院副院长，是人工智能在数字疗法领域的积极探索者，并参与发起成立了吉林大学白求恩心理基金，从全方位健康角度服务社会。

万仞AI的核心执行团队汇聚来自AI上市公司与独角兽企业的核心技术、业务领军人物，具备国内稀缺的大模型构建、调优与落地经验。团队成员均为来自清华大学、北京大学、中科院、哈佛大学、卡耐基梅隆大学、新加坡国立大学、康奈尔大学、波士顿大学等国际知名高校的硕士、博士，集结了一批热衷于AI事业的科学家团队。他们对AI抱有无比的热情，倡导AI native的工作方式，致力于打造精英化的卓越团队，共筑AI技术的明日高峰。

结语

医疗行业无疑正处于大数据和新一代人工智能技术催化下的深刻转型期，董奉大模型等前沿AI技术的日益精进和落地应用，预示着一个崭新的、智能化和普惠化的医疗服务体系的到来。人工智能进程的整体推进，将极大提升诊疗效能与用户体验，推动健康管理理念与服务模式的现代化演进。

医疗领域只是万仞AI产业大模型应用的第一步，其在更广阔业务场景中的泛化能力也将逐步释放。凭借其以客户为中心，以创造价值为导向的公司理念，深厚的技术积累和敏锐的市场洞察，万仞AI在其大模型平台基础上，能够做到从医疗到康养、金融、汽车、农业、零售等行业的边界拓展。实际上，万仞AI已与深圳某零售、某软件服务和海南某农业综合公司等多家客户完成了实际落地。

万仞AI有望带动更多产业实现数字化转型和智能化升级，共享科技创新红利，共同构建新质生产力，让通用智能带来的公平服务造福大众。