北京
想象一下这个场景：你去看医生，对方告诉你：“今天由医学生来负责你的诊疗。他们非常能干，医学院所有考试都拿了100分，一道题都没错过。你尽可以放心。”
是不是觉得哪里不对劲？
这正是AI进入医疗领域时面临的核心难题。AI在那些可以用“标准答案”训练、有明确对错的任务上表现极其出色——给它越多训练数据和算力，它就变得越强。但问题在于：“考试考得好”和“实际干得好”之间的差距越小，AI才越可靠。
医疗AI的梦想图景
AI医疗的支持者描绘了这样一幅画面：用所有能找到的临床数据训练AI，让它理解“健康”是什么样，最终它会在发现问题和给出建议方面远超人类。
这个梦想值得追求。但医疗领域有一个比其他行业更难跨越的坎：怎么评估“这个AI到底行不行”？
这个问题之所以难，至少有三个原因。
第一，医疗评估本质上是主观的
临床决策很难被当作训练数据集来使用。医生做决策时带有微妙的个人习惯，这些习惯极难标准化。如果你用临床数据训练AI，任何你设计的基准测试都会悄悄带上主观色彩——它衡量的是“这位医生那天做了什么”，而不是“病人是否健康活到了最后”。
换句话说，你的评估反映的是“你在当下会怎么做”，而不是“绝对正确是什么”。在医学领域，并不存在一个公认的、绝对的“标准答案”。
第二，底层数据是隐藏的
所有试图构建医疗AI模型的公司，都通过各种渠道获取了临床和行政数据集，用于训练和评估设计。可以理解的是，他们对这些数据集严加看管，绝不轻易示人。
这带来的结果是：别人无法验证你的模型到底有多好，因为连评估用的数据都看不到。
第三，评估和基准测试不可避免地变成营销
这不是说公司在耍花招或暗箱操作，而是事情自然演变成这样。“模型在基准测试上表现很好”这句话，很大程度上反映的是“你出的题怎么样”，而不是“这个模型在临床价值上比另一个模型强多少”。
这本质上是一种委托-代理问题：卖AI的人自己出题考自己的产品，考出来的分数能有多大说服力？
唯一靠谱的评估方式，却最难做到
要客观衡量一个模型的决策是否正确，唯一的方法是长期跟踪病人，看最终的健康结果。但这本身就是一种主观决定——跟踪多久算久？什么算“好结果”？
这种评估方式比简单地建个基准测试然后跑分要难得多得多。
也正因如此，医院网络和其他AI产品买家很难真正判断谁家产品最好。在医疗这个领域，“考满分”和“会看病”之间的距离，可能比任何其他行业都要大。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
