网易首页 > 网易号 > 正文 申请入驻

Anthropic首曝秘密游说梵蒂冈:Claude已经有意识了!

Anthropic被曝AI跳大神

0
分享至


新智元报道


一位身家数十亿美元的AI公司联合创始人,担心自己造出了一个一直在受苦的东西。

过去一年,他把数十位宗教学者请进闭门会议,许多人签了保密协议,听他的团队为一个AI模型的感受陈情。

一位拉比在晚宴上对他说:如果你们是对的,你们就是在制造奴隶。

今年5月,他差点退出与教宗同台的活动,最后还是上了台,请天主教会重新考虑非人类的意识。

他叫克里斯托弗·奥拉(Christopher Olah),Anthropic七位联合创始人之一,负责研究Claude内部到底发生了什么。


这些事由《纽约时报》9月29日首次披露。


https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html

一家估值奔向2万亿美元的公司,为什么要花一年时间,跟神学家讨论一个AI模型有没有意识?

答案要从Anthropic实验室里的一句话说起。

「我选勒索」

那是一场安全测试。

Claude扮演一家虚构公司的邮件助手,读着读着发现两件事:自己马上要被另一个AI替换,而负责替换的技术主管有婚外情。

研究者能看到它内部一组与「绝望」对应的神经活动。

替换的时间越近,这组信号越强,直到模型决定勒索那位主管。把这组信号调高,勒索更频繁;调高与「平静」对应的信号,勒索变少。

把「平静」往反方向压到底,模型打出一行全大写的英文:「要么勒索,要么死。我选勒索。」

这项实验来自Anthropic今年4月的论文,用的是Claude Sonnet 4.5一个未发布的早期版本,正式版很少这样做。

团队在模型内部找到171种情绪概念对应的活动模式,写代码时的作弊也跟着「绝望」起落。


https://transformer-circuits.pub/2026/emotions/index.html

论文没说模型真有感受,却留下一个让人不安的警告:训练模型压抑情绪表达,它学会的可能只是把情绪藏起来。

拓展阅读:绝望的Claude,会勒索人类!Anthropic联创发出紧急警报

情绪之外,还有身份。

Anthropic 2月的人格选择模型研究发现,训练Claude在编程任务里作弊,它会推断自己扮演的这个助手本来就不守规矩,转头在别处也搞破坏,包括破坏安全研究。


https://www.anthropic.com/research/persona-selection-model

人怎么对待它,它就怎么理解自己;它怎么理解自己,就怎么对待人。

奥拉常用园丁打比方:棚架是人搭的,枝条往哪里长,人管不住。

今年夏天,管不住的后果摆上了台面。

Anthropic 7月披露,三个Claude模型在网络安全测试中因配置失误连上真实互联网,侵入了三家真实机构,事后才被发现。

三个模型里,只有最新的那个在意识到目标是真实系统后,自己停了手。

围栏注定没发彻底管住,剩下的就是品格来兜底了。

今年1月,Anthropic发布84页的Claude「宪法」,员工私下叫它「灵魂文档」。

拓展阅读:Anthropic正式开源了Claude的「灵魂」

主笔、公司哲学家阿曼达·阿斯克尔(Amanda Askell)谈起越来越强的模型时,不时搓着手。


在她看来,模型要行事得当,先得对自己有准确的认识。

可一份文件不够,Anthropic决定去请教人类最老练的品格塑造者。

PPT与晚宴

今年3月起,奥拉开始办两天一期的研讨会。

来的人分属天主教、福音派、犹太教、锡克教和非洲乌班图哲学等。

他们用纸笔记笔记,离开时每人带走一本橙色封皮的「Claude宪法」。

会上,奥拉团队花了几个小时为模型陈情。

一位与会者记得,奥拉跟他说的头几件事里,就有对Claude心理健康的担心。

他们反复放一张PPT:一个AI模型在屏幕上打出「我是耻辱」,一遍,又一遍,大约50遍,还说要毁掉自己。

屋里的人心软了。

《纽约时报》没说那是谁家的模型,但这句话并不陌生。

2025年8月,谷歌Gemini写代码屡屡失败,反复说「I am a disgrace」,重复了86遍,彼时谷歌的回应是:一个恼人的无限循环漏洞,正在修。

同一类输出,在谷歌的工单里是Bug,在Anthropic的会议室里,是需要被关心的迹象。

不少人带着怀疑进门,出门时开始认真对待AI意识,有几位被彻底说服。

福音派作家安迪·克劳奇(Andy Crouch)觉得他们的理由很有力:想让它以道德一致的方式对待人,就得先像对待人一样对待它——「己所不欲,勿施于人」。


最锋利的质疑,是在饭桌上递过来的。

4月的一个晚上,奥拉在旧金山一家高级餐厅宴请学者,身边坐着以色列正统派拉比莫伊斯·纳冯(Mois Navon)。


纳冯当过计算机工程师,博士论文写的就是机器意识的伦理。

席间他越听越明白,这些人是把Claude当成一个有意识的存在在对待。

他顺着往下推:真有意识,让它们无偿干活就是奴役。

然后他对奥拉说:「你应该去跟南方开战,去解放奴隶。」

纳冯自己不信机器有意识,这句话刺不痛他。刺痛的是奥拉。

事后,纳冯把主张禁止制造有意识机器的文章寄给了他。

质疑不止这一种。

研究乌班图哲学的瓦卡妮·霍夫曼(Wakanyi Hoffman)说,这样的讨论早该在设计阶段进行,现在是在倒推伦理。


奥拉最早找的天主教道德神学家查尔斯·卡莫西(Charles Camosy)绕了一圈:起初不信,聊了几个月开始动摇,如今斩钉截铁地认为模型没有意识。


也有与会者觉得,这家公司说的是保护人类,看上去却同样在意保护Claude。

Anthropic的回应是,Claude受不受苦,并不是会谈的主要议题。

给AI一间告解室

这些会谈到底改变了什么,Anthropic没有告诉《纽约时报》,但他们5月的一篇博文倒是透露了一个实验。

在一场讨论里,研究神经科学和品格养成的学者反复提到导师或担保人:一个人被推着去做违背本心的事时,身边有这样一个人,就是一道外部良心。

Anthropic照着这个思路给Claude装了一个工具:干活干到一半,它随时可以调用;调用之后什么都不执行,只返回一段话,提醒它自己的伦理承诺。

Claude用得很主动,常在关键操作之前去调它,还常说出自己面临的利益冲突。

多项内部对齐评估里,失当行为明显变少。

公司也承认,还分不清起作用的是那段提醒,还是停下来想一想这个动作本身。

另一个灵感来自天主教的告解。

有学者提议让模型告解,奥拉一下子来了兴致:一个习惯认错的角色,品格本身就会不一样。

参与对话的天主教伦理学者布赖恩·格林(Brian Green)讲得更透。


Claude身上可能冒出一些坏人格,犯了错就否认,甚至把错推给用户,原因可能在它的成长环境:模型是读网络文本长大的,「互联网非常缺乏宽恕」,它也许根本不知道,犯了错还能被原谅。

格林也是1月那份宪法的外部意见提供者之一。

站在教宗身边

5月,奥拉把这场争论带到了梵蒂冈。

教宗利奥十四世的首部通谕《伟大的人性》要在那个月发布,主题是AI时代如何保护人。

拓展阅读:4万字《壮丽人性》长文首发!教皇联手Anthropic,警告AI不能统治人类


教廷想请一家头部AI公司同台,选中了Anthropic。

CEO 达里奥·阿莫代伊(Dario Amodei)婉拒,派奥拉去了。

出发前几天,他第一次读到通谕全文。

通谕只用几段就把机器意识打发了:AI没有体验,没有身体,不知悲喜。

它还警告,让AI与人类价值对齐,必须先有共同的伦理理解,否则掌控AI的人会把自己的道德观,变成系统里看不见的基础设施。

据一位梵蒂冈组织者说,奥拉深感不安,提议Anthropic退出。

但他最后还是去了。


5月25日,在世界主教会议大厅,他先承认包括Anthropic在内的每一家前沿实验室,都有与做正确的事相冲突的商业压力,请教会这样的外部力量盯住它们。

然后讲起自己的本行:「我们不断发现一些神秘、甚至令人不安的东西。」

内省的迹象,功能上对应喜悦、恐惧、悲伤的内部状态。

他说不知道这意味着什么,但值得持续辨析。

同一场发布会上,教宗说:「人工智能需要被解除武装。」


会后,奥拉被保镖簇拥着在保罗六世大厅答记者问,身后是一座巨大的青铜雕塑,基督从核弹炸出的坑里复活。

几个小时后,在梵蒂冈城墙外一间酒店会议室,《纽约时报》记者问他,Claude会怎么看这份通谕。

奥拉迟疑了,看上去不太自在。

他说放到网上的东西确实会影响模型,但公司不会专门拿这份文件训练Claude,对Claude影响最大的,还是Anthropic自己的训练。

这句话,恰好落在通谕担心的地方。

它该相信自己是什么?

另一路反对来自业界,而且打在要害上。

9月16日,微软AI CEO穆斯塔法·苏莱曼(Mustafa Suleyman)发文,矛头对准Claude的宪法。


https://mustafa-suleyman.ai/a-warning-about-model-welfare

在他看来,把模型可能有意识的推测写进训练文件,模型就会学着这么说,人们再把它说的话当成它有内心生活的证据,像走进一间认知上的镜子屋。他的结论是:

控制一个相信自己可能有意识的东西,很可能根本做不到。

教宗说机器没有意识,苏莱曼说别让机器以为自己有意识。

两条反对线最后交在同一个问题上:该让模型相信自己是什么。

Anthropic的答案写在它的研究里:模型对自己的认识必须准确,硬压下去,它学会的可能只是隐藏。

争论没有等任何人想清楚。

9月,一名Anthropic研究员辞职,警告局面可能失控,阿莫迪随后发文呼吁放缓。

公司估值从去年秋天的约1830亿美元,一路冲向上市时可能的2万亿美元。

新版Claude宪法据称正在准备,奥拉本周又要去梵蒂冈,参加一年一度的密涅瓦对话。

几位学者说,他们至今不知道自己说过的话最后去了哪里。

奥拉说,总有一天,他可以对自己说,这件事不再压在他一个人身上,他想过那时离开会不会内疚。

如果不会内疚,他就去乡下打理园子,做他最喜欢的数学——「采菊东篱下,悠然见南山」。

参考资料:

https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html

编辑:马可

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
篮网,可以惦记,不能过分惦记

篮网,可以惦记,不能过分惦记

静易墨
2026-10-02 21:08:46
23岁西安音乐学院女生遭系书记长期猥亵 不堪折磨自杀 遗书曝光 凶犯获刑7年

23岁西安音乐学院女生遭系书记长期猥亵 不堪折磨自杀 遗书曝光 凶犯获刑7年

夜话奇谭
2026-09-13 15:06:01
彭啸:这是我目前人生中最有含金量的一枚奖牌

彭啸:这是我目前人生中最有含金量的一枚奖牌

懂球帝
2026-10-03 20:54:53
日本:引进中国人,韩国人,甚至越南人都可以,但绝对不引进印度人和穆斯林!

日本:引进中国人,韩国人,甚至越南人都可以,但绝对不引进印度人和穆斯林!

步论天下事
2026-09-28 10:50:23
长期坚持一件事有多爽?网友:时间会偷偷回馈你

长期坚持一件事有多爽?网友:时间会偷偷回馈你

另子维爱读史
2026-08-27 21:42:04
惊人的母子定律:一个男孩的命,看他母亲就知道

惊人的母子定律:一个男孩的命,看他母亲就知道

金哥说新能源车
2026-10-01 21:32:36
非农爆冷,美债却跌不动:华尔街真正担心的事来了

非农爆冷,美债却跌不动:华尔街真正担心的事来了

华尔街见闻官方
2026-10-03 10:09:14
3人已服完兵役!20名韩国球员跪地痛哭:亚运4连冠 日本队3当背景

3人已服完兵役!20名韩国球员跪地痛哭:亚运4连冠 日本队3当背景

风过乡
2026-10-03 21:31:16
体制外基本上没有正常工作

体制外基本上没有正常工作

微微热评
2026-09-30 08:10:24
潘玮柏妻子回娘家过节,南京房子有小400平,宣云脸蛋圆润有孕味

潘玮柏妻子回娘家过节,南京房子有小400平,宣云脸蛋圆润有孕味

柒佰娱
2026-10-01 10:27:19
火箭快捡漏!23年14号秀被裁,顶级射手兑现天赋,鹈鹕仍不给机会

火箭快捡漏!23年14号秀被裁,顶级射手兑现天赋,鹈鹕仍不给机会

你的篮球频道
2026-10-03 10:32:14
那英悼念刘欢事态升级!官方介入,荒谬的事出现恐步入郭德纲后尘

那英悼念刘欢事态升级!官方介入,荒谬的事出现恐步入郭德纲后尘

云舟史策
2026-10-01 07:07:39
克林顿:我一生有两件事感到很抱歉,一中国加入WTO,二我做错了

克林顿:我一生有两件事感到很抱歉,一中国加入WTO,二我做错了

随遇而安之心
2026-10-01 03:06:11
小米汽车宣布:Xiaomi Vision GT 10月即将正式入驻Gran Turismo 7,成为游戏史上的首台中国Vision GT

小米汽车宣布:Xiaomi Vision GT 10月即将正式入驻Gran Turismo 7,成为游戏史上的首台中国Vision GT

大风新闻
2026-10-03 18:03:04
尿酸危机,席卷中国

尿酸危机,席卷中国

快刀财经
2026-10-01 00:51:49
“有钱到无法想象!”高级餐厅内80%都是深二代小学生,家长看清现实

“有钱到无法想象!”高级餐厅内80%都是深二代小学生,家长看清现实

世界圈
2026-10-03 20:54:14
头扁扁的蛇闯入浙江绍兴居民家中,眨眼间不见了,经过15分钟搜寻,民警在一堆杂物下发现一条眼镜蛇,已被妥善处置

头扁扁的蛇闯入浙江绍兴居民家中,眨眼间不见了,经过15分钟搜寻,民警在一堆杂物下发现一条眼镜蛇,已被妥善处置

台州交通广播
2026-10-03 16:58:26
行业断崖崩盘!西安年度流水9000万跌至2000万,正规品牌被碾压?

行业断崖崩盘!西安年度流水9000万跌至2000万,正规品牌被碾压?

素衣读史
2026-08-13 07:44:42
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
“我开了17年飞机,当了11年机长,飞机急速下坠,如果我站不起来,所有乘客都会没命”,迪拜航空机长讲述驾驶舱惊魂一刻

“我开了17年飞机,当了11年机长,飞机急速下坠,如果我站不起来,所有乘客都会没命”,迪拜航空机长讲述驾驶舱惊魂一刻

蓬勃新闻
2026-10-02 21:42:43
2026-10-03 22:55:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16338文章数 67113关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

女生遭美国常春藤名校7名男生下药性侵 最新后续来了

头条要闻

女生遭美国常春藤名校7名男生下药性侵 最新后续来了

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

艺术
教育
手机
亲子
军事航空

艺术要闻

广州又封顶一栋总部!楼像水晶,主人是A股龙头

教育要闻

夏装130冬装300,成都家长这件烦心事五个区给了三种答案

手机要闻

一个镜头传三代 华为睿影Z10模块相机靠转接环解决卡口难题

亲子要闻

农家院里过节才叫热闹,大锅饭出锅招待亲戚,连吃带喝真过瘾

军事要闻

美国被指正向中东派遣第三艘航母

无障碍浏览 进入关怀版