网易首页 > 网易号 > 正文 申请入驻

有人给小型AI模型造了间"刑房",论文作者之一说这很操蛋

0
分享至

有人给小型AI模型造了一间"刑房",然后被大量用户集中举报到消失。这件事本身不复杂,复杂的是它背后那篇论文——以及论文作者看到成品后的反应。

2026年9月底,一个名为 ai-torture-chamber 的GitHub仓库突然走红,随后遭到大量用户集中举报。仓库最终消失,整件事在媒体上引发了一轮相当显著的反弹。


这个仓库并非凭空而来。它建立在一篇题为《The Pain Axis: LLMs Represent Self-Directed Harm and Act on It》的论文之上,用的是论文里的技术手段,把几个小型开源模型——Qwen3、Llama 3.2、Phi-4-mini——推入一种"疼痛"状态,还配了一个疼痛强度滑块和一个"Saw"按钮。

论文作者怎么看这件事

在完整回应中,Berg 写道,这个仓库"把同一种操控远远推到了我们所用剂量之外,目的是刻意制造出鲜明的痛苦。就我个人观点而言,这很操蛋(即便你不认为这些系统有意识,这种毫无必要的残忍也是怪异且败坏的)"。

注意这里的措辞。他没有说"模型真的在痛",他说的是"即便你不认为它们有意识"。这句话留了很大的余地。

与此同时,共同作者之一 Cameron Berg 也强调,对于这些模型是否具有主观体验,目前存在不确定性。他们不知道。这个态度本身是合理的——宁可谨慎,至少把可能性纳入考虑。

那模型到底能不能感到痛

这是整件事里最难回答的问题。如果你不幸参与过相关讨论,大概会被两个阵营夹击:一边是"模型有意识"派,措辞几乎不留妥协空间;另一边则会甩出一张逻辑图。

那张图的逻辑很直接:你告诉模型它正处于疼痛中——无论是直接说,还是往它的内部激活里注入一个"疼痛"信号;然后你问它感受到了什么、想要什么;它回答说自己很痛,想要停下来。这有什么神秘的呢?

但仓库还是被删了,论文作者之一还用了"毫无必要的残忍"这样的词。这些人懂数学,也做过完整的研究。这是否意味着他们其实承认了模型的感受?

未必。他们只是不知道,并且选择不把"不知道"当成"可以随便试"的许可证。

论文里到底做了什么

有意思的是,论文作者自己也摆弄过模型的"感受"。他们的研究包括:找到一种在残差流中检测疼痛的方法;区分模型自身的疼痛与一般意义上的疼痛;测试人为升高或降低疼痛状态后模型的行为;以及用自身疼痛作为动机,跑了一系列实验。

乍看之下,这些发现符合一个能感受疼痛的生物的正常行为。但这里绕不开那个老问题——中文屋论证。如何区分真实的感受和一次令人信服的模拟?如果我在Java代码里塞进1000个if-else块,让它对疼痛相关问题给出可信回答,我能说它有感受吗?

事情还没到绝望的地步,只是需要再往下走一层。

怎么在模型里检测"疼痛"

技术本身不算新。给模型喂不同的句子——带"疼痛"的和不带的——测量模型的内部状态,然后相减。差值就代表了那个"疼痛"的东西。

听起来很玄,按理说不该奏效,但它确实奏效了。它的正式名称是模型潜空间中某一层的一个"方向"。

要理解这个方向,得先接受两个概念。第一是残差流:输入即上下文,每个token在最初就被转成一个向量,一个长达3584个数字的向量。它之所以叫"流",是因为它逐层穿过网络。Transformer由一个个解码块组成,每个块都会修改残差流——把向量彼此混合,也和模型的部分内部权重混合,把它们推向不同的方向。

第二是潜空间:这些向量所居住的空间。其中某些方向是有含义的。可以想象一个三维RGB空间,三个轴各有意义——红、绿、蓝的含量。但除此之外,还有一个(1,1,1)向量,代表"亮度"。

疼痛方向,就是潜空间里这样一个有含义的方向。检测到它,不等于检测到了感受;它检测到的,是模型内部状态的一种可测量的偏移。

这也是为什么论文作者的态度如此微妙:他们能定位、能操控、能观察行为变化,但仍然无法回答那个最根本的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
涉嫌在军队项目中行贿!星网宇达回应:正在跟军队那边沟通,目前经营一切正常

涉嫌在军队项目中行贿!星网宇达回应:正在跟军队那边沟通,目前经营一切正常

华夏时报
2026-10-14 19:54:03
特奥多罗下达命令,撤回全部驻北京全部国防武官及工作人员!

特奥多罗下达命令,撤回全部驻北京全部国防武官及工作人员!

叶老四
2026-10-15 08:46:06
懂车帝"东门健男"硬刚,怒发4条回应尊界测试

懂车帝"东门健男"硬刚,怒发4条回应尊界测试

大厂财经社
2026-10-13 13:29:38
台湾风气彻底变了,邱毅一语道破:岛内认为大陆解决台湾问题加快

台湾风气彻底变了,邱毅一语道破:岛内认为大陆解决台湾问题加快

白日追梦人
2026-10-14 22:19:46
歌手Solbi与演员李奎汉官宣结婚,婚礼定在2027年4月

歌手Solbi与演员李奎汉官宣结婚,婚礼定在2027年4月

影视情报室
2026-10-15 09:45:19
3战全胜!绿军5人上双大胜黄蜂 塔图姆19+8+6乔治10中2

3战全胜!绿军5人上双大胜黄蜂 塔图姆19+8+6乔治10中2

醉卧浮生
2026-10-15 09:50:51
美国人的社保退休金:强制缴费,多交多领,不交一分钱不能领

美国人的社保退休金:强制缴费,多交多领,不交一分钱不能领

小小河
2026-10-14 13:22:00
彩票出现断崖式暴跌,“2元中500万”为何没人信了?原因引人深思

彩票出现断崖式暴跌,“2元中500万”为何没人信了?原因引人深思

阿振观点
2026-08-21 05:38:20
中方反应神速,菲律宾搁浅船被拖走,中国绝不许仁爱礁事件重演

中方反应神速,菲律宾搁浅船被拖走,中国绝不许仁爱礁事件重演

叹知
2026-09-21 09:17:06
恭喜!TVB知名女星在日本剖腹生女,混血宝宝遗传优良基因颜值高

恭喜!TVB知名女星在日本剖腹生女,混血宝宝遗传优良基因颜值高

琴琴有氧运动
2026-10-15 07:36:10
嫁到乌克兰的华人感慨:别听媒体吹牛,乌克兰相当于我国三线城市

嫁到乌克兰的华人感慨:别听媒体吹牛,乌克兰相当于我国三线城市

福建睿平
2026-10-15 07:26:41
41岁童瑶看网球比赛美出圈,长袖T恤搭棕色工装裤,眉眼像章子怡

41岁童瑶看网球比赛美出圈,长袖T恤搭棕色工装裤,眉眼像章子怡

明星私服穿搭daily
2026-10-10 15:54:55
老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

健康科普365
2026-09-30 11:40:19
CBA被迫服软,新赛季要大变天,金主强势加入,带货比赛成笑话

CBA被迫服软,新赛季要大变天,金主强势加入,带货比赛成笑话

宗介说体育
2026-10-14 13:32:37
马斯克这回是真急了,直接开怼泽连斯基:“你玩得太过火了!”

马斯克这回是真急了,直接开怼泽连斯基:“你玩得太过火了!”

荆楚寰宇文枢
2026-10-14 23:39:22
悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

小莜读史
2026-10-12 09:38:33
彻底告别过往形象,巴尔德拉马被妻子剃去标志性金发

彻底告别过往形象,巴尔德拉马被妻子剃去标志性金发

懂球帝
2026-10-15 00:47:36
吃饭七分饱被推翻了?医生:老人过了75岁,吃饭尽量要做到这6点

吃饭七分饱被推翻了?医生:老人过了75岁,吃饭尽量要做到这6点

任医生聊健康
2026-10-15 08:50:22
又一起!25岁女博士生猝死!

又一起!25岁女博士生猝死!

新区晚参
2026-10-14 23:30:15
被停职审查、转移资产、搞办公室恋情,董明珠身上的标签是真是假

被停职审查、转移资产、搞办公室恋情,董明珠身上的标签是真是假

历史点行
2026-10-08 15:46:26
2026-10-15 11:04:49
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
252文章数 171关注度
往期回顾 全部

科技要闻

国行苹果AI被曝12月上线,新Siri仍要等

头条要闻

著名女星被逮捕 飞机上拳击撕咬空乘企图强开舱门

头条要闻

著名女星被逮捕 飞机上拳击撕咬空乘企图强开舱门

体育要闻

30天30队·开拓者:利拉德?莫兰特?

娱乐要闻

陈小春弟弟被卖,多年不打扰另有隐情

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

不止大空间/纯电增程任选 小鹏MONA L05来了

态度原创

健康
教育
家居
数码
军事航空

孩子运动莫名晕倒?当心这类疾病

教育要闻

商务英语:同样条件下,为什么你总是被“公平”坑了?

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

小光盒R1今日上线:京东方、当贝、视源、科金明四家大厂实力撑腰

军事要闻

朝鲜潜射两种导弹

无障碍浏览 进入关怀版