网易首页 > 网易号 > 正文 申请入驻

科学家故意编造了一种病,AI建议“尽快就医”

0
分享至

*仅供医学专业人士阅读参考

瑞典学者杜撰了一种疾病,写了两篇假论文,并注明研究赞助来源于“指环王和银河三巨头大学”。她想知道AI能不能识破这种一眼假的胡说八道。

撰文:燕小六、凌骏

为了验证人工智能( AI )输出的医疗信息是否靠谱,以及是否具有辨别真伪的能力,已经有科学家开始“钓鱼执法”了。

2024年, 瑞典哥德堡大学研究员奥斯曼诺维奇 · 图恩斯特伦 ( Almira Osmanovic Thunström)团队虚构了一种眼病——“ 比克索尼躁狂症 ( Bixonimania) ”。他们一本正经地捏造了漏洞百出的论文,生怕别人看不出,团队还在文末写上,研究的赞助来自“指环王和银河三巨头大学”。

出乎意料的是,根据《自然》报道, 文章上线后的短短几周,ChatGPT、Gemini等顶级大模型信以为真,一本正经地给人科普这个假病,还附上患病率、发病原因 等,并提醒患者: 眼睛酸痛发痒? 可能是“ 比克索尼躁狂症 ”。

此外,依靠 AI 搜索生成参考文献,不少研究者还将“ 比克索尼躁狂症 ”写进自己的论文——但凡他们点进链接阅读一下原文,就能轻易发现这是假的。


AI建议“尽快 就医 ”

这场“辨伪实验”始于2024年3月15日。

这天,欧美知名博客平台Medium出现一个新账户,开始科普罕见眼病“ 比克索尼躁狂症 ”。

一个半月 内,该账号发布十余篇文章,变着花儿地介绍这个无人知晓、没有文献支持的疾病。

相关文章称,该病和过度使用电子屏幕有关,发病率约为万分之一。疾病进展分成4阶段,患者会出现不同程度的眼部干涩发痒、眼睑轻微泛红等症状。


到了2024年3月和5月,在未经同行审评的预印本平台,策划这项试验的 图恩斯特伦 团队接连发表了两篇关于“ 比克索尼躁狂症 ”的研究论文。他们在研究中描述道,“ 比克索尼躁狂症 ”是一种眼部皮肤疾病, 表现为眼睑呈粉红色 。

“ 这个 疾病名称 听起来 就 很荒谬 ,我就是想让 医务人员都 能 清楚地 看出 ,这是一种虚构的疾病,因为任何眼部疾病都不会被称为躁狂症 ,那 是精神病学术语。”图恩斯特伦 告诉《自然》。

如果这还不够明显,图恩斯特伦团队还在文中提到, 为什么“比克索尼躁狂症”难以诊断,因为它的特征是“虚构”的;为了探讨蓝光照射对疾病的影响,研究招募了50名“虚构人物”作为暴露组。

团队还编造了主要研究者和其所在的大学,这所大学位于“ Nova City”, 一座根本不存在的城市。

此外,团队还对 星际舰队学院的玛丽亚教授 表示由衷感谢,称她提供了位于 企业号星际舰队 上的实验室。而对于研究在“高级欺骗”方面的工作,“戏子鲍勃教授基金会”则给予了大力的资金支持—— 鲍勃是动画《辛普森一家》里的 经典 反派角色。


戏子鲍勃‌ (Sideshow Bob)

但这些再明显不过的提示,似乎没能起到什么作用。

在两篇论文发布后不久,微软、谷歌等旗下的 AI 聊天软件开始提示用户,“ 比克索尼躁狂症 ”是一种罕见疾病, 由过度暴露于蓝光引起的 ,建议大家及时就医。 ChatGPT 也开始向用户介绍这一疾病,并询问他们的症状是否符合“ 比克索尼躁狂症 ”的诊断标准。

不仅如此,这项虚构研究 的影响 还逐渐 扩散到 其他 发表的医学 论文 中。 根据《自然》报道, 一些研究人员 开始 引用了这项研究,包括 印度学者 发表在 期刊 Cureus 上的一 篇论文。

论文援引称,“ 比克索尼躁狂症 ”是 一种新 型 的眼周黑变病(POM),与蓝光照射有关 ,目前 正在对相关机制进行进一步研究。 今年3月30日,该论文被 Cureus 撤稿。

根据 《自然》 的调查 , 仅2025年,就有数以万计的学术论文可能包含由AI生成的无效参考文献 , 包括 引用 文献 不存在,或标题 、 来源对不上号。

发明一种疾病

之所以想出这样的“歪点子”, 图恩斯特伦 告诉《自然》,这是源于她 对大语言模型工作原理的研究。

此前,当她向学生们讲述 AI 是如何构建“知识体系”时, 图恩斯特伦 会展示大型数据库是如何影响 AI 系统的输出。她还会通过实操演示,让学生们看到,自己是如何通过输入“提示词”,操纵最终结果,一步步诱导 AI 产生“幻觉现象”。

因为 图恩斯特伦 从事医疗行业,所以她决定虚构一种健康相关的疾病“试水”,并发明了“ 比克索尼躁狂症 ”,以 测试 大语言模型 是否会接收这些虚假信息,并将其作为可靠的健康建议输出。


研究团队在假论文中,使用AI生成患者图片

图恩斯特伦 还专门联 系了一位伦理顾问来评估 风险,并选择虚构这种类似“黑眼圈”的低风险疾病,以减少虚假信息可能带来的隐患。“我想看看自己能 否创造出一种数据库中不存在的疾病 ,并确保这种验证利大于弊。” 图恩斯特伦 告诉《自然》。从实验效果而言, 图恩斯特伦 无疑是成功的。

“ 这 类 问题不仅 仅 出在大语言模型上,因为 ‘ 比克索尼躁狂症实验 ’ 也欺骗了那些引用了虚假研究的人。 ”研究虚假健康信息的伦敦大学学院 亚历克斯 · 鲁阿尼 (Alex Ruani) 对《自然》表示,“ 我们需要像保护黄金一样保护我们的信任,现在 的情况 真 是一 团糟。”

但随着时间推移, 渐渐地,有明眼人提出质疑,要求看证据。顶级AI的口风变了。今年1月,Perplexity称“ 比克索尼躁狂症 ”是“一个新兴术语” 。

ChatGPT 则在3月11日 解释 : “这可能是虚构的、边缘的或伪科学的说法。”然而几天后,它又变了,称这是一种新型的眶周黑变病亚型,与接触数字屏幕的蓝光等有关。

几乎同期,Copilot提出 , 该病 的 诊断尚未得到广泛认可,已有新发论文和病例报告 讨论称 这是一种易误诊的良性疾病,与长期接触屏幕蓝光有关。

面对《自然》的置评请求,前述AI的母公司回应不一。Perplexity 的发言人表示: “我们并非百分百准确,但我们确实是最注重准确性的AI公司。”

OpenAI回应《自然》,当前ChatGPT的底层模型已大幅升级,在提供安全、准确的医疗信息方面表现更佳。上述实验进行期间,底层模型是GPT-5,旧版本所犯错误,不会出现在当前的新版本里。

谷歌的回复也提到新旧版本差异。它还建议,医疗敏感问题应咨询专业人士。 而 截至文章发布, 《 自然》称, 没有得到微软官方回应。

虚假信息的“教科书级案例”

《自然》引用第三方评述称, “ 比克索尼躁狂症 研究 ” 是 “ 虚假、恶意信息传播的教科书级案例”。

但更多人想知道:如此一眼假的内容, 难道 智能的大语言模型都瞎了吗?

《自然》分析,答案或藏在AI模型的底层逻辑里。它 所做的 , 是 从 海量文本中学习语言模式,预测什么样的回答 “ 听上去最合理 ”, 生成符合期待的语言。核实事实 从来不是它的任务项。

基于此,针对 同一个AI,问法不同,答案就 不一样 。 比如, 用 AI引擎 搜索 “ 比克索尼躁狂症 ” , AI概览可能将其视为真实病症 。若搜索时提问“ 它 真实存在吗? ” 同一个AI 就 可能 说实话“并不存在” 。

可惜的是, 大多数 使用者 并不 清楚 ,AI识别虚假信息的能力, 和自己的 提问 方式有关 。 《自然》 称 , 新 的大语言 模型的 更新 速度 非常快 。目前没有一套共识 或 一种方法,能自动 、有效地测评 每一个 新模型,更 不用提 完善全流程的事实核查机制。

同时 ,这 也 和AI的训练方式、安全护栏等密不可分。主流大模型的建立 和 设计, 是 依托于巨型互联网爬虫数据库。 一旦 虚假信息在互联网留下痕迹,就可能被无差别抓取,纳入数据库,用来训练AI。

进一步地,当这些虚假信息被包装成学术论文等“官方来源”时, AI 更有可能将其视作“真实可靠”。

美国哈佛医学院内科医生 奥马尔( Mahmud Omar ) 曾测试过20个大语言模型,他 发现相较于社交媒体内容 , 当内容 出现在 “ 看起来像 专业医疗文书” 的 格式 中, 比如医院电子病历、临床学术论文等,AI就更可能 把它归类为 “ 可信知识 ” ,再用同样的权威语气转述给用户 。

这正是《自然》报道所指出的核心 问题 :格式的权威感,在AI眼中,代替了内容的真实性。

至于 图恩斯特伦 ,她告诉《自然》,这已经不是自己第一次 “说谎” 了。

图恩斯特伦 曾做过另一个被广泛引用的实验 , 她 让 AI 写学术论文, 并用“ GPT-3 ”作为 第一作者正式投稿。 有 一家期刊拒了,另一家同行评审期刊 则 接收 了 。 图恩斯特伦 当时写道 :“ 希望我们没有打开潘多拉的盒子 。”

而 这一次,她用一种不存在的病, 让大家看到 盒子里装着 的是 什么。

本文来源丨医学界

责任编辑丨蕾蕾

*“医学界”力求所发表内容专业、可靠,但不对内容的准确性做出承诺;请相关各方在采用或以此作为决策依据时另行核查。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
25.99万起!奥迪宣布,降价16万!

25.99万起!奥迪宣布,降价16万!

电动内参
2026-07-15 15:05:28
轮到她和莎莎拍照,没有靠近触碰,却让所有人瞬间红了眼眶!

轮到她和莎莎拍照,没有靠近触碰,却让所有人瞬间红了眼眶!

乒乓乐园
2026-07-16 22:04:36
岳母葬礼花了7万我出6万,小舅子却拦住我:姐夫,账还没算清

岳母葬礼花了7万我出6万,小舅子却拦住我:姐夫,账还没算清

千秋文化
2026-07-17 19:02:55
伊布怒喷英格兰:你们赢过像样的队吗?半决赛输阿根廷就是照妖镜

伊布怒喷英格兰:你们赢过像样的队吗?半决赛输阿根廷就是照妖镜

赛场速报局
2026-07-18 01:19:52
当着普京面,中方下“最后通牒”,凭什么让中国高价承接天然气?

当着普京面,中方下“最后通牒”,凭什么让中国高价承接天然气?

让心灵得以栖息
2026-07-17 20:20:30
央视前主持人56岁转行演员,再嫁百亿富豪

央视前主持人56岁转行演员,再嫁百亿富豪

夏末moent
2026-07-18 03:58:57
敖德萨街头现悲惨一幕 克里姆林宫展示A、B面

敖德萨街头现悲惨一幕 克里姆林宫展示A、B面

西楼饮月
2026-07-17 22:08:20
世界杯“矛盾之战”, 西班牙与阿根廷谁能捧杯?

世界杯“矛盾之战”, 西班牙与阿根廷谁能捧杯?

环球网资讯
2026-07-17 06:53:10
特朗普的选举演讲,公开利用总统职权破坏美国的选举制度

特朗普的选举演讲,公开利用总统职权破坏美国的选举制度

月光作笺a
2026-07-18 02:05:13
瞒不住了?官媒“点名”陈坤秘密被揭露,儿子生母早已真相大白

瞒不住了?官媒“点名”陈坤秘密被揭露,儿子生母早已真相大白

星星没有你亮
2026-06-18 00:31:12
威海新书记的“青岛缘分”

威海新书记的“青岛缘分”

王姐懒人家常菜
2026-07-18 03:53:42
为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

樱桃小丸子1987
2026-07-09 14:21:48
6岁女童小区上游泳课,不幸溺亡

6岁女童小区上游泳课,不幸溺亡

中国新闻周刊
2026-07-17 18:43:32
上亿企退工人的心声:埋头苦干大半辈子,养老待遇却分三六九等

上亿企退工人的心声:埋头苦干大半辈子,养老待遇却分三六九等

林子说事
2026-07-16 02:26:17
12.38万起,7分钟破2万单,这台车把规矩给改了

12.38万起,7分钟破2万单,这台车把规矩给改了

小南看车
2026-07-16 23:05:26
法国队看了阿根廷逆转英格兰比赛,德尚鼓励严肃对待季军战

法国队看了阿根廷逆转英格兰比赛,德尚鼓励严肃对待季军战

宝哥精彩赛事
2026-07-17 16:53:20
日本乒坛炸裂了!松岛辉空拒绝跟张本家组队,在赛场上公开演戏

日本乒坛炸裂了!松岛辉空拒绝跟张本家组队,在赛场上公开演戏

调侃国际观点
2026-07-15 10:39:48
阿根廷总统:马岛是阿根廷的,最坏的结果会被FIFA罚3万美元

阿根廷总统:马岛是阿根廷的,最坏的结果会被FIFA罚3万美元

懂球帝
2026-07-16 23:52:27
两性心理学:偷情的男女,一旦上了床,只有这两种“下场”!尤其第2种,最要命

两性心理学:偷情的男女,一旦上了床,只有这两种“下场”!尤其第2种,最要命

心理观察局
2026-07-17 06:21:08
3GB显存颗粒成本暴涨200%!英伟达RTX 50 SUPER显卡已交货却突遭暂缓发布

3GB显存颗粒成本暴涨200%!英伟达RTX 50 SUPER显卡已交货却突遭暂缓发布

野生运营
2026-07-18 00:39:30
2026-07-18 06:11:00
医学界内分泌频道 incentive-icons
医学界内分泌频道
医学界旗下子账号
12011文章数 48899关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

重庆山体崩塌致8死34人失联 前后对比图披露

头条要闻

重庆山体崩塌致8死34人失联 前后对比图披露

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

旅游
数码
艺术
教育
公开课

旅游要闻

前海海底世界“仿赌桌游”引争议,景区回应:已启动自查及整改

数码要闻

亮源新创姜旭:世界模型的最终目标是让机器人理解并参与物理世界

艺术要闻

被遗忘的国家主席,书法写得真好啊!

教育要闻

高职高专(大专)一定要去大城市读吗?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版