网易首页 > 网易号 > 正文 申请入驻

临床AI误诊3人后,这家小公司用1行代码封住了7000亿市场的漏

0
分享至


2023年,美国一家医院部署的临床AI系统在72小时内连续给出3次"低风险"建议,患者出院后病情恶化。事后复盘发现:模型本身没出错,只是没人检查"建议发出时"和"执行时"之间发生了什么。

这3个病例的共同点,暴露了所有自动化系统的致命盲区。

01 | 决策正确,执行翻车

Prime Form Calculus(PFC,主形式演算)团队复盘过数百起类似事故。他们的结论很反直觉:大多数系统崩溃不是因为算法错了,而是因为"决策"和"执行"之间隔着一道无人看守的峡谷。

想象一个场景。AI上午10点分析完数据,判断患者可以出院。这个结论在当时是成立的。但11点护士录入新症状,12点实验室补发报告——这些变化没人同步给已经"沉睡"的决策。下午2点,系统按原计划执行出院流程。

PFC创始人把这叫作"时间漂移"。决策的有效性像牛奶一样会过期,但传统架构假设它永远新鲜。

金融系统里同样上演。高频交易算法在微秒级生成买卖指令,但网络延迟或市场波动可能让"正确决策"变成"错误执行"。2020年某券商因类似漏洞损失4.6亿美元,事后调查发现:风控模型只审了决策,没审执行瞬间的市场状态。

02 | PFC的解法:给每个动作办"实时签证"

PFC的核心设计是插入一道"硬边界"。任何动作在执行前必须携带三张凭证:谁授权、依据什么政策、前提条件是否仍成立。执行瞬间,系统会重新核验这三项 against 当前状态。


不是打日志,不是发警告,是直接阻断。

这相当于给自动化流程装了一个"熔断式签证官"。签证在签发时有效,但入境时还要再查一遍护照、机票、健康码——任一不符,当场拒入。

医疗场景中,PFC会拦截那种"建议生成后患者状态已变"的出院指令。金融场景里,它会卡住那些"下单后市场深度已不足"的交易。基础设施领域,它能阻止"配置变更时依赖服务已下线"的部署。

不同行业,同一套底层逻辑:把"决策正确"和"执行合法"拆成两道关卡。

03 | 为什么大厂没先做?

这个需求看起来如此基础,却长期被忽视。PFC团队认为,原因在于架构惯性:现有系统的设计假设是"决策即授权",一旦AI或规则引擎输出结果,下游流程就默认获得了通行证。

这种设计在静态环境没问题。但现代系统的输入流是持续变化的——患者数据在更新、市场价格在跳动、微服务在扩缩容。决策和执行的时差里,环境可能已经换了一副面孔。

更隐蔽的问题是权限漂移。一个操作最初由医生发起,但经手AI分析、护士确认、系统自动归档后,"谁对最终结果负责"变得模糊。PFC要求每个动作携带完整的授权链,相当于给责任上了区块链式的溯源。

目前PFC已开源核心框架,官网列出的应用场景覆盖医疗、金融、能源、网络安全。他们的客户案例里有个细节:某医院部署后,系统拦截的"过时决策"中,有17%是模型本身无法识别的边缘情况——人类护士的临时备注、跨科室的口头交接,这些非结构化信息从未进入训练数据。


换句话说,PFC补上的不是算法的短板,而是"算法之外"的那片灰色地带。

04 | 一个待解的悖论

PFC模式也有代价。实时核验意味着延迟,延迟意味着吞吐量下降。对于毫秒级决胜的高频交易,这道关卡是否会成为新的瓶颈?团队目前的回应是"可配置的策略引擎"——关键操作走全量核验,非关键操作走抽样审计。

但"关键"与"非关键"的划分权,又落回了人类手里。

这引出一个更深的张力:我们建自动化系统是为了减少人为判断,但自动化本身的边界,又需要人为判断来划定。PFC没有解决这个悖论,只是把它推到了更上游——从"执行时"推到了"配置时"。

或许这就是基础设施类产品的宿命。它们不消灭问题,只是迁移问题。而迁移本身,就是价值。

PFC官网的文档区有个未完成的页面,标题是"当核验本身成为攻击面"。点进去只有一行占位文字:"正在记录真实案例。"

如果实时核验系统被攻破,伪造的授权链会不会比没有核验更危险?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我跟48岁女邻居开玩笑说娶她,第二天她28岁女儿拿着户口本找上门

我跟48岁女邻居开玩笑说娶她,第二天她28岁女儿拿着户口本找上门

千秋文化
2026-05-30 20:05:32
从0-1,2-1到2-3,刘建业的错误换人,让重庆铜梁龙从3分变0分

从0-1,2-1到2-3,刘建业的错误换人,让重庆铜梁龙从3分变0分

硬腿子聊个球
2026-05-30 22:52:25
湖北“面积最小地级市”,凭啥接住全球“天上的流量”?

湖北“面积最小地级市”,凭啥接住全球“天上的流量”?

极目新闻
2026-05-30 23:20:19
初中的几个潜规则:初一成绩就中下,甚至倒数的,基本跟高中无缘

初中的几个潜规则:初一成绩就中下,甚至倒数的,基本跟高中无缘

好爸育儿
2026-04-20 15:00:49
家里出现这3种迹象,竟是难得旺宅!老祖宗叮嘱,千万别乱动

家里出现这3种迹象,竟是难得旺宅!老祖宗叮嘱,千万别乱动

阿离家居
2026-05-31 00:31:20
董路的“强盗逻辑”:你必须召我的人,召了还必须当首发核心使

董路的“强盗逻辑”:你必须召我的人,召了还必须当首发核心使

中场阴谋家
2026-05-30 09:19:34
宇宙中最诡异的骗局:地球根本没有悬浮,它一直在往太阳里掉?

宇宙中最诡异的骗局:地球根本没有悬浮,它一直在往太阳里掉?

一簌月光
2026-05-30 02:12:17
全红婵被网暴到主动请假!人民日报罕见发声:别把她修剪成盆景

全红婵被网暴到主动请假!人民日报罕见发声:别把她修剪成盆景

子芫伴你成长
2026-04-02 19:12:58
向太曝马伊琍已再婚:当年文章过不了心理那关

向太曝马伊琍已再婚:当年文章过不了心理那关

娱乐看阿敞
2025-12-12 15:50:00
穿情侣装现身谢霆锋演唱会!王菲素颜坐提词器旁,两人已复合12年

穿情侣装现身谢霆锋演唱会!王菲素颜坐提词器旁,两人已复合12年

手工制作阿歼
2026-05-31 01:06:10
脏乱差!美媒曾评:国际空间站像垃圾堆,中国空间站像苹果专卖店

脏乱差!美媒曾评:国际空间站像垃圾堆,中国空间站像苹果专卖店

混沌录
2026-05-28 22:53:01
乌克兰通过法律程序,将“俄乌战争”,命名为“乌克兰独立战争”

乌克兰通过法律程序,将“俄乌战争”,命名为“乌克兰独立战争”

我心纵横天地间
2026-01-22 18:41:25
杰西卡·阿尔芭17岁女儿考上耶鲁,前夫深情发文:你注定属于这一刻

杰西卡·阿尔芭17岁女儿考上耶鲁,前夫深情发文:你注定属于这一刻

追星雷达站
2026-05-31 01:11:49
日本迈出最危险一步,借援乌之名,终把自卫队送进北约军事指挥链

日本迈出最危险一步,借援乌之名,终把自卫队送进北约军事指挥链

忠诚TALK
2026-05-30 19:53:57
62岁的我狠心戒烟戒酒一年,复查时医生一番话,让我彻底醒悟

62岁的我狠心戒烟戒酒一年,复查时医生一番话,让我彻底醒悟

千秋文化
2026-03-01 22:14:37
期盼窦唯复出的呼声空前高涨,网友喊话窦靖童:带老爸从综艺开始

期盼窦唯复出的呼声空前高涨,网友喊话窦靖童:带老爸从综艺开始

玖宇维
2026-05-30 16:09:53
年终奖3000万变300,当场提离职,董事长懵了——脑子进水?我却笑了!

年终奖3000万变300,当场提离职,董事长懵了——脑子进水?我却笑了!

麦子情感故事
2026-05-30 17:51:29
1夜7大转会!曼联第二签,阿莱格里执教那不勒斯,B席加盟巴萨!

1夜7大转会!曼联第二签,阿莱格里执教那不勒斯,B席加盟巴萨!

田先生篮球
2026-05-30 09:35:25
天涯神贴之东三省人口持续流出的真正原因

天涯神贴之东三省人口持续流出的真正原因

回旋镖
2026-04-26 13:42:15
空姐的一句大实话,戳穿所有男人的本性,有钱还安分的男人太难得

空姐的一句大实话,戳穿所有男人的本性,有钱还安分的男人太难得

千秋文化
2026-05-27 19:49:01
2026-05-31 05:39:00
硅屿手记
硅屿手记
有态度网友ytd
5746文章数 36关注度
往期回顾 全部

科技要闻

车圈大佬发声:价格战远去,但竞争仍残酷

头条要闻

两名9岁女孩被困电梯近2小时 求救几十次物业无动于衷

头条要闻

两名9岁女孩被困电梯近2小时 求救几十次物业无动于衷

体育要闻

巴黎再度捧起欧冠奖杯 枪手众将黯然神伤

娱乐要闻

张碧晨《歌手》 “活人微死” 自嘲

财经要闻

双汇管不住一头猪

汽车要闻

900V+3.2秒破百 领克10+&领克10上市16.99万元起

态度原创

本地
手机
房产
游戏
公开课

本地新闻

用剪纸的方式,打开江苏扬州

手机要闻

苹果iOS27长这样?界面图细节抢先看

房产要闻

红动五月!全国抢入核心资产,广州盯紧凯旋新世界!

巫师3新DLC跨十年:年轻玩家在初发售时还是小孩!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版