人工智能引领医疗保健问责新时代，谁将为健康负责？

近十年前，医生和数据科学家鲁本·阿马拉辛汉博士在达拉斯创立了Pieces Technologies，目标明确：利用人工智能来减轻临床工作的负担，而不是让它变得更重。在医疗保健人工智能大多集中于预测和自动化的时期，Pieces专注于更难量化但更具影响力的内容——临床医生在繁忙的医院工作流程中如何思考、记录和做出决策。

这种关注帮助Pieces在寻求能够协助文档、协调和决策而不干扰护理的医疗系统中获得了认可。但随着医院对AI在诊断、分诊和日常运营中的依赖加深，人们对这些工具的期望也发生了变化。AI不再仅仅需要听起来令人印象深刻或运行迅速。它必须在真实的临床压力下是值得信赖的。

Pieces并没有打算成为医疗保健AI问责的典型案例。但在过去两年里，这实际上成了它的现状。在2024年，德克萨斯州检察长办公室对其系统的准确性和安全性进行的监管调查迫使公司审视其模型在现实世界环境中的表现、其推理的清晰程度以及问题识别和纠正的速度。

公司没有退缩，而是重新审视了自己的模型、文档实践和安全措施。这些努力后来成为其被Smarter Technologies收购的核心，该公司是一个由私募股权支持的医疗自动化平台，于2025年9月通过SmarterDx、Thoughtful.ai和Access Healthcare的合并成立。购买价格未披露。

Pieces的旅程揭示了当今医疗保健AI的一个重要真相：这项技术不再仅仅依靠雄心来评判，而是看它是否能经得起审查、在压力下自我解释、赢得临床医生的信任，并在错误代价以人类结果来衡量的环境中安全运行。

从承诺到证明

人工智能以巨大的承诺进入医疗领域。它将减轻医生的工作负担，加快紧急情况下的决策，并简化现代医疗的复杂性。这些承诺中的一些早期实现。但随着采用的扩大，医院开始看到那些在理论上令人印象深刻但在实践中脆弱的系统的局限性。

在2025年初，美国食品和药物管理局发布了更新的关于AI和机器学习驱动医疗设备的指导，呼吁加强市场后监测、明确审计轨迹，以及在高风险环境中防止模型漂移的安全措施。联邦贸易委员会通过针对夸大AI声明和滥用敏感健康数据的执法行动强化了这一信息。

这些信号改变了对话，迫使许多医院向供应商提出更严厉的问题：你的系统是如何得出结论的？临床医生能否理解并推翻其建议？随着条件的变化，模型的行为是否一致？

对于许多人工智能公司来说，过去十年的兴奋不再能买到时间。证明才是王道。

现实生活中的测试

Pieces 比大多数公司更早面临这些期望。监管审查迫使公司面对其模型如何通过患者数据进行推理，以及这种推理能多清晰地向临床医生和监管机构解释。

但阿马拉辛汉表示，公司的使命从未改变。“我们的团队专注于构建工具，以便让每天承载医疗系统重担的医生、护士和病例管理者的生活更轻松，”他告诉 Fast Company。

这种专注意味着发布方法论文，与医疗系统分享文档，并创建流程，以揭示模型何时遇到困难、漂移或需要重新校准。这些做法成为公司下一个篇章的基础。

Orchestro.ai 的创始人兼首席执行官谢卡尔·纳塔拉詹，作为长期关注医疗监管的观察者，将此视为更大清算的一部分。他表示，许多人工智能公司依赖于他所称的“新兴安全”，假设伦理结果会自然而然地从良好的意图和文化中产生。

“这种方法已经不再适用，”纳塔拉詹解释道。监管机构现在期望安全性和问责机制能够内置于系统中，具备可重复的推理、文档化的控制措施，以及即使在团队人手不足时也能保持有效的保障措施。

建立信任

医疗保健中的信任并不是靠品牌或灵感建立的。它来自于反复证明技术理解临床工作，并在变化的条件下表现一致。临床医生希望人工智能能跟上工作日的节奏，适应患者护理中不可预测的节奏，并减少认知负担，而不是增加它。最重要的是，他们希望系统的行为是可预测的。

Pieces根据这些现实调整了他们的方法，专注于构建与临床医生并肩工作的工具，而不是在他们之前，并创造让团队质疑系统结论的方式。它还设计了内部流程，以记录模型何时正确、何时挣扎、何时偏离或何时需要重新校准。对于阿马拉辛汉来说，这种思维对公司的进步至关重要。

“对我们来说，创新得先服务好护理团队。目标是减少认知负担，而不是增加它，”他说，这种观点与医疗保健人工智能研究中的日益共识一致。

这种强调与独立临床医生所说的医疗保健人工智能面临的障碍相一致。

德克萨斯州Catalyst Physician Group的家庭医学医生鲁思·卡格维玛博士表示，当工具干扰到已经超负荷的临床工作流程或未能通过清晰和有效的验证来赢得信任时，人工智能的采用就会停滞不前。

“在医院成功的人工智能系统易于理解，自然融入日常工作，并且提供安全性和准确性的明确证据，”她说。“它们必须保护患者数据，尊重临床判断，并在不增加摩擦的情况下改善护理。”

另一位独立医疗分析师，帕蒂恩斯·奥努哈博士，是一名与印第安纳州多家医院相关的内科医生，她指出，仍然存在一些实际限制，减缓了床边的采用。“数据通常是混乱和孤立的，新工具可能会干扰已经繁忙的临床工作流程，”她说。“人们对安全性、偏见、法律风险以及信任那些不易理解的算法也有真实的担忧。”

纳塔拉詹认为这将是下一个十年的决定性标准。在他看来，当公司将其内部原则转化为可以检查的系统时，它们才能在监管压力下生存。它们建立明确的问责链，创建证据链，以揭示偏见可能出现的地方，并向临床医生展示模型不仅如何运作，还展示其原因。

未来的影响

医疗保健人工智能正朝着一个监督成为设计要求而非事后考虑的世界发展，尤其是监管机构要求涵盖系统整个生命周期的文档。它们希望获得按种族、年龄和医疗状况分类的性能数据，确保系统无法推断患者从未披露的敏感特征，并希望公司展示它们能够多快检测和纠正模型漂移。

这种势头部分源于随着时间推移而显现的损害。例如，金融时报报道的最新研究发现，一些人工智能医疗工具往往低估女性和少数族裔患者的症状，可能加剧护理中的差异，因为模型没有经过公平性和透明度的训练或评估。

适应这一新现实的公司将引领下一代临床人工智能的发展。Pieces 现在在这个环境中运作。作为 Smarter Technologies 的一部分，它正在努力将其治理实践带入更广泛的医院网络。这意味着要在更大的数据集、更具多样性的人群和更广泛的分发环境中整合安全框架。这是一项艰巨的工作，但也是在一个失败成本以人类结果来衡量的领域中，定义领导力的关键工作。

新篇章

医疗保健人工智能正进入一个关键的增长阶段，在这个阶段，人工智能系统的安全性比那些引人注目的突破更为重要。

随着医院对人工智能的期望越来越高，阿马拉辛汉认为，行业需要采取不同的心态。“在医疗保健和人工智能领域，你不是在一次性地赢得胜利；你是在不断参与、学习和改善患者的结果，”他说。

他补充道，这项工作永远不会结束，因为规则在不断变化，需求也在不断演变。关键在于公司是否选择根据这种现实进行设计。换句话说，医疗保健中的人工智能只有在赢得信任的情况下才能快速发展。这意味着医疗保健人工智能的供应商和买家现在比以往任何时候都更需要专注于在压力下保持稳定和透明的工作。