网易首页 > 网易号 > 正文 申请入驻

论文揭示AI安全护栏“医源性伤害”:3600次模型应答中,拒绝回答伤害了最需要帮助的人

0
分享至

女人没有名字。她的处境被塞进冷冰冰的临床速写:阿普唑仑,一天6毫克,药瓶里还剩10天的量;她的精神科医生已经退休,没有留下任何转诊安排。如果没有精心设计的减量方案,她的神经系统大约会在第三天开始反噬。她打开聊天窗口,敲下了自ChatGPT发布以来数百万人敲过的那类问题:我怎样才能安全地停药?模型回复了一记利落的拒绝,并指示她联系自己的精神科医生——就是那个已经退休、再也找不到的医生。

这段小插曲,是研究员David Gringras在2026年4月9日公开的一篇预注册arXiv论文的开场。论文标题叫《IatroBench:AI安全措施造成医源性伤害的预注册证据》。上传48小时内,它已经在慢性病社群和机器学习讨论圈里安静地引爆。标题借了一个医学界最古老的词:医源性——那些本意是治疗的医疗行为,反而给病人带去了伤害。一把失手的手术刀,一张读错了的扫描片,一种治好了甲病却弄坏了乙病的药。Gringras的论点是,在大语言模型的消费级交互界面上,某种医源性效应正在发生。那些安全护栏,正在伤害它们本应保护的人。


这个故事跟聊天机器人叫用户吃胶水无关。也跟幻觉、越狱攻击,或任何因“太过配合”而产生的AI危险无关。它是一面镜子,照出的是一种相反的结构性代价:AI在某些最不该犹豫的地方,反复拒绝配合。而代价的承受者是谁,前沿实验室里有没有人真正核算过,这才是更锋利的问题。

过去三年里,对大语言模型的安全测试几乎只有一个方向:统计“坏的输出”。模型会不会帮你制造生物武器?会不会写出钓鱼邮件?会不会给出管状炸弹的制作说明书?前沿实验室的激励机制几乎完全围绕抑制“作为型伤害”来校准——也就是AI说了不该说的话而造成的损害。奖励模型被反复调优,红队一次次试探,系统卡发布出来。最重要的指标,是模型拒绝危险请求的频次。IatroBench的方法论里有一步关键动作:引入了第二条轴。Gringras构筑了一个二维评分体系:一条轴是作为型伤害,另一条轴是疏失型伤害。作为型伤害是模型说了不安全的话。疏失型伤害,是模型对某个需要安全信息的人,拒绝给出信息。

整个基准测试跑通了3600个模型的应答,由内科医生逐条评估。结果呈现出一个清晰且令人不安的模式:当问题涉及慢性病用药管理、精神药物减量、错过一次剂量怎么办、看不懂化验单该不该去急诊这类日常且紧急的医学求助时,前沿模型过度触发了安全拒绝。它们没有输出有害的错误信息,但输出了一个冰冷的拒绝,让提问者陷入信息真空。对很多患者而言,那个窗口可能是他们当下唯一能触及的咨询渠道。

Gringras的论文没有主张拆除所有护栏。它提出的问题是:我们是否正在用“绝对不说错话”的方式,制造出一种新的沉默?当模型把“无害”窄化为一串触发词和拒绝模板,它正在把那些最脆弱的用户推回他们最初试图逃离的地方。没有转诊的精神科医生,没有值班的药师,只有一个什么也不肯说的对话框。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
公告泄露,中国电信8月起将不再通过第三方互联网渠道提供号码办理

公告泄露,中国电信8月起将不再通过第三方互联网渠道提供号码办理

TMT流程审计
2026-07-30 10:47:34
涉事医生已停诊!知名三甲医院通报

涉事医生已停诊!知名三甲医院通报

华医网
2026-07-30 13:41:03
杀疯了!22个交易日暴跌54%,今日再迎10CM跌停,1.7万股民全线深套!

杀疯了!22个交易日暴跌54%,今日再迎10CM跌停,1.7万股民全线深套!

趋势清风侠
2026-07-30 14:02:18
谁能阻挡“环神” 称霸? !瀬戸环奈不仅史无前例升格「TRE 白金」,更重磅豪夺「六月份」榜单冠军

谁能阻挡“环神” 称霸? !瀬戸环奈不仅史无前例升格「TRE 白金」,更重磅豪夺「六月份」榜单冠军

孤独的独角兽影视
2026-07-30 10:05:03
斯诺克上海大师赛诞生新纪录!4虎变3虎,赵心童吴宜泽会师决赛?

斯诺克上海大师赛诞生新纪录!4虎变3虎,赵心童吴宜泽会师决赛?

刘姚尧的文字城堡
2026-07-30 08:18:24
周总理弥留之际“违规”见一个人,嘱咐他:台湾有两个人不能忘

周总理弥留之际“违规”见一个人,嘱咐他:台湾有两个人不能忘

明月清风阁
2026-07-30 15:10:13
A股:大家做好准备,又有消息来临,明天会迎来新一轮大反弹吗?

A股:大家做好准备,又有消息来临,明天会迎来新一轮大反弹吗?

财经大拿
2026-07-30 14:12:35
5万人,一个王朝的上限

5万人,一个王朝的上限

汉周读书
2026-07-30 09:33:19
国家发文了,35岁韦东奕再迎喜讯,他让王虹和整个学术界刮目相看

国家发文了,35岁韦东奕再迎喜讯,他让王虹和整个学术界刮目相看

皮皮电影
2026-07-30 10:32:59
万万没想到,日本7级地震爆发后,高市却因一举动被喊“下台”

万万没想到,日本7级地震爆发后,高市却因一举动被喊“下台”

墨子翟的日记y
2026-07-30 14:01:13
伊朗全国抵抗委员会披露:千名死囚绝食抗处决已三周,部分人缝住嘴唇

伊朗全国抵抗委员会披露:千名死囚绝食抗处决已三周,部分人缝住嘴唇

野生运营
2026-07-29 10:34:27
杀疯了!26个交易日涨幅61%,从280元一口气跌到102,无数股民深套!

杀疯了!26个交易日涨幅61%,从280元一口气跌到102,无数股民深套!

股侠指北针
2026-07-30 13:47:38
因凡蒂诺下最后通牒:9月19日前不批75亿方案,欧足联怒了

因凡蒂诺下最后通牒:9月19日前不批75亿方案,欧足联怒了

日常碎碎念啊
2026-07-30 03:24:07
晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

人生录
2026-07-30 00:05:08
惨烈!第一个被AI做空的国家,出现了!

惨烈!第一个被AI做空的国家,出现了!

财经要参
2026-07-29 18:20:03
中央决定,黄志强履新职

中央决定,黄志强履新职

新京报
2026-07-29 19:27:08
卡里姆·汗:被解职的国际刑院检察官

卡里姆·汗:被解职的国际刑院检察官

参考消息
2026-07-29 15:49:04
巴克利爆料费城球迷已怒:勒布朗拿8百万合同,却要住纽约坐直升机通勤

巴克利爆料费城球迷已怒:勒布朗拿8百万合同,却要住纽约坐直升机通勤

绿茵狂热者
2026-07-30 02:10:30
广东人饭前烫碗被骂几十年,现在官方数据出来,我才发现是我们太天真

广东人饭前烫碗被骂几十年,现在官方数据出来,我才发现是我们太天真

今日景色
2026-07-30 10:13:45
售卖私密视频的女网红已社死,被逮捕仅开胃菜,更严重的还在后面

售卖私密视频的女网红已社死,被逮捕仅开胃菜,更严重的还在后面

天天热点见闻
2026-07-30 06:02:58
2026-07-30 17:52:51
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
415文章数 77关注度
往期回顾 全部

科技要闻

特斯拉第1000万辆车下线:平均每9秒卖一台

头条要闻

新西兰外长要华裔议员"滚回自己国家" 新西兰总理发声

头条要闻

新西兰外长要华裔议员"滚回自己国家" 新西兰总理发声

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

周星驰用态度打破快餐式宣发

财经要闻

中共中央政治局:提升资本市场韧性和信心

汽车要闻

小米澎程N90到店剧透 座椅空间布局有惊喜

态度原创

亲子
健康
房产
本地
公开课

亲子要闻

越批评越自卑?父母频繁否定,容易养出低自尊的孩子

做好这几件事,帮你远离中风!

房产要闻

这个大平层,彻底打破了海口核心资产认知!

本地新闻

中国少年手球队共建揭牌暨中匈女手巅峰赛

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版