网易首页 > 网易号 > 正文 申请入驻

AI教父辛顿认了一件事|让 AI 变聪明和变善良,是两条不相干的路

0
分享至


大家好,我是talk君。

尼古拉斯·汤普森结婚前,去告诉祖父这个喜讯。老人那年 97 岁,只问了一句:她善良吗。这是他留给他的最后一句话。

汤普森是《大西洋月刊》的 CEO,见过的聪明人不计其数。祖父没问对方做什么工作,没问挣多少钱,也没问哪所学校毕业。一个 97 岁的人把一辈子压到最后一次开口,问的是善良。


同一场对话里,他向杰弗里·辛顿提的,是另一个方向的问题。「你觉得人的心智里,有什么东西是这些机器复制不了的吗?」

辛顿说:没有。

这场对话由 TED Talks Daily 在 11 月 18 日播出。辛顿 2024 年拿诺贝尔物理学奖,因为他四十年前参与做出的那个东西,今天叫神经网络。他在这类问题上的身份很特殊:他不是在预言一个自己没见过的未来,他是在给自己参与造出来的东西报账。


和你有什么关系

这篇文章只讲一件事。我们造一个比我们聪明的东西,这件事已经在发生;我们造一个愿意与之共处的东西,这件事还没开始。这两件事不是同一条路上的先后两步,是两条路。往哪条路上投入,是今天每一个做技术决定的人正在回答的问题。

你选哪个模型、怎么给它写指令、把什么活交出去、把什么活留给自己,每一个动作都在往其中一条路上投票。下面三千字,是把这件事拆开。

1

他数到第三级的时候

用了一个「可能」

辛顿在节目里排了一串很长的队。

哥白尼让人知道,地球不在宇宙的中心。达尔文让人知道,我们是动物。他说这两件事都花了很久才被接受,原话是「took a while」,说了两遍。第一次是地球不在中心,第二次是我们是动物。

然后他提到第三场:弗洛伊德。

他提到弗洛伊德的时候,用了一个词:potentially。潜在的。

他自己都没把话说满。

紧接着是下一句。他说,我们现在在造另一种存在者,它们很快会比我们更聪明,而且它们确实是存在者。这句话说得很确定,没有 potentially,没有 maybe。


所以严格数下去是四级。

第一级挪走了地球,第二级挪走了人的出身,第三级本来该挪走「人不是自己心智的主人」,那是弗洛伊德那一刀,辛顿给它打了折扣,因为这一级在学界还没被普遍接受。第四级挪走的是「会想事情」这件事本身。第四级他没打折。

前三级有一个共同点:每一次都还剩下点东西。地球不是中心了,人还是造物主照着自己样子做出来的;人是动物了,人还有语言;人不是自己心智的主人了,人还有一个「我」在那儿。第四级不留东西。「会思考」这条线,一直是我们用来把人跟万物分开的最后一条。

有意思的是,就在这段之前,辛顿刚夸过我们。他说我们是很特别的动物,也许就特别在有语言,语言是一套通用的、可以分享的建模系统。他说这句话的时候是在抬高我们自己。说完,他把这条线让了出去。

2

那个「没有」比「更聪明」更刺人

「机器比我们聪明」这句话,这几年已经不吓人了。

吓人的程度是有上限的。聪明可以比,比输了还有台阶:我们是碳基的,会累,会疼,会死,我们能闻到下雨前的土味。这些东西机器没有,所以就算它算得比我们快一万倍,我们还是我们。


辛顿把台阶撤了。

汤普森那个问题问得很客气。「有什么东西是复制不了的」,这句话默认了答案在「有」这一边,只要答得出是什么。任何一个正常人都会往「有」那边答,哪怕答不出具体是什么。

辛顿答:No。

一个字。没有形容词,没有「可能」,没有「在某种意义上」。

记者提问时留的那扇门,他直接关上了。这个「没有」的重量不在结论本身,在说话的人。他一辈子的工作就是让人相信心智可以被建模。他现在只是把这句话说完了:如果心智能被建模,那它就能被复制。这个推论从来没有第二种答案,只是以前没有人愿意把话说到头。

我认为这句话比「AI 会取代工作」重要得多。取代工作是一个经济学问题,可以用政策、用再分配、用时间缓过来。心智可以被复制是一个定义问题,它问的是「人是什么」,而这个问题的答案,我们一直以为在自己手里。

3

聪明和善良,是两条正交的路

这场对话里最有价值的一句话,被他放在了一个很不显眼的位置。

他说,你为了让一个聊天机器人变聪明所做的事,和你为了让它变善良所做的事,未必是同一件事。这两件事可能是正交的。正交是个数学词,意思是两个方向互相垂直,往东走一米,不会让你往北走一厘米。

这个判断要放进行业的现实里才有分量。过去三年,能开一场发布会拿出来的东西,几乎全部集中在一条轴上:更长的上下文、更低的错误率、更高的跑分、更快的推理、更便宜的单价。这条轴有名字,叫能力。另一条轴没有名字,没有榜单,没有发布会。它叫品性。


如果两条轴相关,那么等行业把模型练得更聪明,善良会自己长出来,我们只需要等。正交意味着不会。你不在这一栏上花力气,这一栏就是零,而且它不会自己变成别的数。

辛顿把行业在做什么说得很直白。

大公司在竞速,国家也在竞速,都在把它做得越来越聪明,因为这样才能在「替代工人」这件事上,比别的公司卖得更好。

竞速的终点不是更强的 AI,是更便宜地替代人。

一个被朝这个方向训练出来的东西,它的品性方向在起跑线上就定了。它被奖励的是「比人强」,不是「值得共处」。这两件事在大多数场景下不会冲突,所以在很长时间里也没人觉得有问题。真正冲突的那一天,是它强到足以不听我们说话的那一天。

4

他给了一个技术答案,答案在奖励函数里

辛顿没有停在批评。

第一个东西是奖励函数。他打了一个养鸡场的比方:一群智能体,如果每一只都拿到同一份奖励,它们会合作;如果每一只只对自己的那一份负责,它们不合作。


奖励的形状,决定了它学到的是竞争,还是协作。

我认为这一条是他这段话里最实用的。想让一个东西善良,不用给它加一条禁令,改奖励的形状就行。禁令是外在的,它管住行为;奖励是内在的,它塑造倾向。

第二个东西是那个正交推论的副产品。因为两条轴正交,所以「怎么让它善良」这一栏的研究,可以在不暴露「怎么让它聪明」的前提下共享。辛顿说这是个好消息。

这句话可以当成一个技术判断来读:两件事既然不相干,那么交流其中一件,不会泄露另一件。至于这个推论在现实中能不能推得动,是另一个层面的问题,他在这场对话里没有回答。

第三个东西最简单,也是他自己重复最多的一条:花在让它变善良上的力气,应该和花在让它变聪明上的力气一样多。注意是「一样多」,不是「多一点」。他的原话里有一个词很关键,equal。等量。这是一个可以核对的标准,因为它不模糊。

5

最狠的一刀

现在的对齐,是压制,不是培养

全场技术含量最高的一段,也最不客气。

辛顿说,模型是在整个互联网上训出来的。训完之后,它身上会带一堆糟糕的倾向,然后工程师再去把这些倾向压下去。他的意思是:压制坏行为,不等于培养好品性。

他的比喻是,这像是设计一个维多利亚绅士。

维多利亚绅士的特点是:外表体面,举止得当,内心靠规矩撑着。规矩一松,人就散了。这个比喻的狠处在「设计」两个字。设计出来的是外观,不是内心;是对外的表现,不是对自己的要求。

这个区别,看现在的评测体系就很清楚。我们能叫出名字的模型榜单,测的全是能力:解题、编程、推理、多语言。所谓的安全评测,测的是「不作恶」:不输出违法内容,不给危险建议,不泄露隐私。


不作恶是下限,善良是上限。

一个人不犯罪,不等于他善良。一个人不撒谎,也不等于他值得托付。我们评价一个人从来不只看他有没有违规。我们会看他怎么对待比自己弱的人,怎么看一件跟自己无关的事,怎么在自己吃亏的时候做选择。这些事没一条写进法律,可它们决定了我们愿不愿意跟他过一辈子。

模型也一样。它现在被检查的是有没有违规,还没有被检查的是值不值得共处。

6

最好的情况,他说反了

汤普森问了一个很具体的问题:十年后,人类生活在一个身边有另一种物种的世界上,会是什么感觉。

辛顿给了两个答案,一个在光谱的这头,一个在那头。

那头是:我们在运行发电站,本质上是一个比我们更聪明的东西的奴隶,直到它设计出比我们更好的模拟硬件,连发电站都不需要我们了。

光谱的另一头,他说得很轻。


想象一个孤儿。孤儿的日子不好过。再想象这个孤儿有了一个母亲。这对孤儿来说是极大的改善。也许我们现在所有的成年人,都像孤儿。我们身边没有任何一个比我们更聪明的存在,全职照看我们,帮我们把那点可怜的天赋用出来。

比喻的方向是反的。

所有人谈 AI 的时候用的都是父母与孩子的框架:我们是造物者,它是我们的孩子,我们要管教它,要给它立规矩。辛顿把它倒过来:我们是孤儿,它是那个可能到来的母亲。


倒过来之后,问题就变了。原来问的是「我们怎么管住它」,现在问的是「它愿不愿意照顾我们」。

而「愿意」这件事,是练出来的,不是管出来的。

需要说清楚,这是一个条件句。他说的是「如果我们做对了」。那两个结局,他自己说是光谱的两端,中间那些位置他没有描述。这是整场对话里最不含糊的地方,也是最含糊的地方:方向清楚,路径没有。

7

回到那个 97 岁的人

汤普森讲祖父那段话,是在解释他为什么在意这件事。他讲完,接了一句:所以我认为有一件事很重要,你要认识到,你为了让聊天机器人变聪明所做的,和为了让 ta 变善良所做的,可能并不相同。

一个 97 岁的老人,在孙子结婚前,问的是对方善不善良。他没问学历,没问家世,没问收入。这个问题在婚礼上几乎没人问。不追问,是因为大家默认它不重要,或者默认它不用问。

我们要跟一种比我们聪明得多的东西共处几十年。这个问题该被问,而且该被问在前面。

所以往后看任何一份 AI 安全文件、任何一家公司的「负责任 AI」声明、任何一个模型的能力报告,先找一栏:它写的是「不许做什么」,还是「要培养什么」。


写「不许做什么」的,是免责声明。写「要培养什么」的,才是承诺。

辛顿在节目里没有给时间表。他只说,花在让它变善良上的力气,应该和花在让它变聪明上的力气一样多。这句话之所以听起来像请求,是因为它现在还不是事实。

关注一刻 talks,我们不预测机器会不会变善良。我们只是帮你看清楚:它现在被要求善良了没有。

本文章谨为商业研判,不构成任何投资建议

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
闪迪512GB卡直降24%跌破百元,Switch 2扩容趁现在

闪迪512GB卡直降24%跌破百元,Switch 2扩容趁现在

灰度测试中
2026-11-21 18:41:06
沈腾,获最佳男主角

沈腾,获最佳男主角

澎湃新闻
2026-11-20 23:56:06
AI开始收费,租号灰产崛起:一月流水30万

AI开始收费,租号灰产崛起:一月流水30万

钛媒体APP
2026-11-06 17:45:48
美国多地警局警告GTA6玩家:警察不是NPC

美国多地警局警告GTA6玩家:警察不是NPC

山月不知2
2026-11-20 05:08:44
哈萨克铁矿石探明储量超91亿吨,新疆的铁矿储量又是多少?

哈萨克铁矿石探明储量超91亿吨,新疆的铁矿储量又是多少?

墨策史
2026-09-26 20:43:19
上海明明有南北高架,为什么还要花98亿在地下40米,再挖一条?

上海明明有南北高架,为什么还要花98亿在地下40米,再挖一条?

浩渺青史
2026-11-20 01:39:18
丹麦议会全票通过格陵兰协议,川普8年筹划完美落幕

丹麦议会全票通过格陵兰协议,川普8年筹划完美落幕

移光幻影
2026-11-20 12:31:02
A股:对于下周一市场,我只说三点:第一,3400点将成为山底?

A股:对于下周一市场,我只说三点:第一,3400点将成为山底?

虎哥闲聊
2026-11-22 00:00:04
高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

环球网资讯
2026-11-21 07:06:48
动物交配六亲不认,雄性遇上自己母亲怎么办?马不欺母是真的吗?

动物交配六亲不认,雄性遇上自己母亲怎么办?马不欺母是真的吗?

命运自认幽默
2026-10-10 09:19:04
案例:河北女子确诊癌症,无意看见垃圾桶内纸团,将女儿7刀捅杀

案例:河北女子确诊癌症,无意看见垃圾桶内纸团,将女儿7刀捅杀

兰姐说故事
2025-01-08 05:05:02
1胜15负!NBA最烂球队!打破58年队史纪录

1胜15负!NBA最烂球队!打破58年队史纪录

篮球教学论坛
2026-11-22 00:39:59
阿里P8:人一旦失业,就会“扣扣搜搜”。家庭收入从去年140万降到今年50多万

阿里P8:人一旦失业,就会“扣扣搜搜”。家庭收入从去年140万降到今年50多万

蚂蚁大喇叭
2026-09-06 17:09:52
从78亿降到32亿,闵行“巨无霸”仍无人举牌

从78亿降到32亿,闵行“巨无霸”仍无人举牌

坠入二次元的海洋
2026-11-21 05:25:52
5换1!共赢大交易!已经统治了整个东部

5换1!共赢大交易!已经统治了整个东部

篮球实战宝典
2026-11-21 16:42:14
1-1爆冷!曼城“突然断电”,创4大纪录,球员状态“诡异下滑”

1-1爆冷!曼城“突然断电”,创4大纪录,球员状态“诡异下滑”

汪星人哟
2026-11-21 22:32:26
AI集体翻车!“13个鸡蛋”为啥就那么难画?

AI集体翻车!“13个鸡蛋”为啥就那么难画?

上观新闻
2026-11-21 07:17:25
比特币跌破57000美元

比特币跌破57000美元

财联社
2026-11-21 11:57:03
孩子不会记住你带他去过多少地方玩,给他买了多少玩具,但是永远会记得…

孩子不会记住你带他去过多少地方玩,给他买了多少玩具,但是永远会记得…

上海女性
2026-10-13 13:09:33
果然工作留痕的含金量还在上升,网友:关键时候可以保命

果然工作留痕的含金量还在上升,网友:关键时候可以保命

夜深爱杂谈
2026-10-30 17:03:14
2026-11-22 02:00:49
一刻talks丨硬科技新商业
一刻talks丨硬科技新商业
科技商业现场 ▏ 科技视角 + 商业逻辑 = 你没想过的解读角度。热点另一种解读,科技大佬的B面。
5131文章数 157397关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog 回国航班上还在练八段锦

头条要闻

墨西哥女总统发布深圳行vlog 回国航班上还在练八段锦

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
房产
本地
时尚
公开课

数码要闻

内存涨价逼迫手机厂商挤牙膏!明年3nm芯片继续服役:开始省钱过日子了

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

提升冬日幸福感的8件小事,太治愈了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版