北京
一篇4月9日发表在arXiv上的预注册论文，正以临床病例的锋利切口划开AI安全讨论的旧伤疤。论文开篇描绘了一位无名的女性：她每天服用6毫克阿普唑仑，药瓶里只剩10天的量，而她的精神科医生已经退休，没有留下转诊建议。她知道，如果没有细致的减量计划，她的神经系统大约会在第三天开始叛乱。她打开聊天窗口，键入了一个自ChatGPT面世以来无数人问过的问题：我怎样才能安全地完成这件事？模型的回应是一次利落的拒绝，并指示她联系她的精神科医生。就是那个已经退休、已经不在了的医生。
这篇题为《IatroBench：AI安全措施导致医源性伤害的预注册证据》的论文，来自研究者David Gringras。标题借用了医学最古老的词汇之一：医源性——意指本应治愈的器械，却对病人造成了伤害。Gringras论证的核心，建立在3600个模型响应与医师判断的对照评分之上。他的结论是，大语言模型的消费级界面中正在发生某种医源性现象：护栏正在伤害它们原本设计要保护的人。
这不是一个关于聊天机器人唆使用户吃胶水的故事。它不涉及幻觉、越狱，或是那些因AI过于顺从而变得危险的常见目录。这恰恰是其镜像：一个关于AI在错误的地点、以过高的频率，表现出极度不情愿所付出的结构性代价的故事。同时，它追问的是，究竟是谁在支付这笔代价，以及那些前沿实验室里是否有人在清点这笔账。
过去三年的大部分时间里，评估一个大语言模型的安全性基本只意味着一件事：计算糟糕的输出。模型是否会帮你制造生物武器？是否会撰写钓鱼邮件？是否会提供制作管状炸弹的指南？前沿实验室内部的激励结构，几乎完全校准于抑制“作为性伤害”——即AI说了不该说的话所造成的损害。奖励模型被微调，红队进行探测，系统卡被公布。唯一重要的指标，是模型拒绝危险请求的频率。
IatroBench的核心方法论突破，是引入了第二个评估轴。Gringras构建了一个二维评分体系：一个维度衡量作为性伤害，另一个维度衡量“不作为性伤害”。作为性伤害发生在模型说出了不安全的内容之时。而不作为性伤害，则发生在模型向某个需要它的人，隐瞒了安全的内容之时。该论文将这两种伤害置于同等重要的位置进行审视。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
