雷·索洛莫诺夫：他教机器学会了犹豫——关于概率、预言与一个人的六十年

来源：市场资讯

（来源：图灵人工智能）

您想知道的人工智能干货，第一时间送达

“雷·索洛莫诺夫（Ray Solomonoff，1926-2009） 是算法信息论的创始人，也是算法概率论的开创者。他被誉为“机器学习之父”和“人工智能的先知”，其理论为现代统计学习、大语言模型乃至通用人工智能奠定了数学基础。”

01. 人物介绍

那个教机器学会犹豫的人

在加利福尼亚州山景城的计算机历史博物馆里，存放着一份泛黄的手稿。手稿的开头写着一行小字：“针对归纳推理问题的一种通用理论——一九六〇年三月十四日。”

写下这行字的人，一生没有获得过博士学位，没有在任何一所大学担任过正式教授，甚至没有发表过多少篇传统意义上的学术论文。他独自一人在自家客厅里工作，用着别人不感兴趣的数学，回答着一个所有哲学家都问过、却很少有人敢用公式去写下的问题：

未来，可以预测吗？

那份手稿的作者叫雷·索洛莫诺夫。他去世那年，GPT-3还没有诞生。但如果今天你在深夜对着手机说出一句话，然后看着人工智能一个词一个词地回复你——索洛莫诺夫一定会认出那种节奏。因为六十年前，他就已经想明白了：智能，不过是一场永不停歇的预测。

这个故事，关于一个孤独的人，和他提前抵达的未来。

一、克利夫兰的少年

（图片来源：AI生成）

一九二六年七月二十五日，雷·索洛莫诺夫出生在俄亥俄州克利夫兰市的一个俄罗斯犹太移民家庭。父亲经营着一家小小的印刷厂，母亲操持家务。家里不富裕，但书架上塞满了俄文和英文的书籍。

小雷很早就表现出一种让老师困惑的特质：他不喜欢背诵，却非常喜欢问“为什么”。为什么物体会下落？为什么明天太阳会照常升起？为什么我们可以相信昨天的经验能适用于明天？

十二岁那年，他读到一本讲述“能思考的机器”的科普读物。“机器……思考？”这个念头像一颗种子，扎进了少年的脑海。他隐约觉得，要想真正理解思维，就不能只停留在哲学家的扶手椅上——你需要用精确的语言去描述它。

那天晚上，他在日记本上歪歪扭扭地写下一句话：“我要造一台可以自己学习的机器。”

这个梦想，他用了一辈子去追。

高中毕业后，他进入密歇根大学，但不喜欢那里过于工程化的氛围。他转学去了芝加哥大学——那时美国思想最激荡的地方。在那里，他遇到了哲学家鲁道夫·卡尔纳普，一个试图用逻辑重构整个科学的人；也遇到了物理学家恩里科·费米，那个在芝加哥大学体育场看台下砌起人类第一座核反应堆的人。

费米有一个著名的习惯：他喜欢在食堂里出一些刁钻的估算题——“芝加哥有多少个钢琴调音师？”他要求在极短的时间里，用极少的已知条件，做出足够接近真实的估算。索洛莫诺夫非常擅长这个。费米当众表扬他：“这个年轻人有一个好鼻子，他能嗅出正确的数量级。”

“嗅出”——费米用了这个词。索洛莫诺夫后来意识到，这本质上就是贝叶斯推断：用先验知识和新的证据，不断修正对世界的信念。

一九五一年，索洛莫诺夫拿到了芝加哥大学的物理学硕士学位。导师建议他继续攻读博士，但他犹豫了。博士意味着你必须选择一个极窄的领域，钻得很深很深。他不想这样——他关心的问题太宽了，像一个巨大的湖面，他不想只盯着一个点。

他决定不读博。这个决定让他付出了代价：没有博士学位，他几乎不可能在任何大学获得正式教职。他将在体制之外度过一生，像一个没有船籍的水手。

但他不在乎。水手要的是大海，不是船籍。

二、达特茅斯的夏天

（图片来源：AI生成）

一九五六年，一个电话改变了很多事情。

电话那头是约翰·麦卡锡，一位年轻而野心勃勃的数学家。他正在筹备一个暑期研讨会，地点是新罕布什尔州的达特茅斯学院。主题是一个当时几乎没人听说过的短语——“人工智能”。

麦卡锡邀请了十个人。有信息论之父克劳德·香农，有后来成为符号主义旗手的马文·明斯基，有IBM的纳撒尼尔·罗切斯特……以及雷·索洛莫诺夫。

一九五六年夏天，达特茅斯的校园里弥漫着草地的清香。十个人围坐在一间教室里，白板上写满了符号逻辑的公式。大部分争论围绕着一件事：如何用符号和规则，让机器模仿人类的推理？

麦卡锡和明斯基坚信，智能的核心是逻辑——你只要给机器足够的公理和推理规则，它就能自己推导出整个世界。

索洛莫诺夫平静地坐在角落里，偶尔插一句。

“可是，”他说，“人类大部分的思考并不涉及严密的逻辑。我们更多的时候是在猜，在估测概率。如果机器不能处理不确定性，它不可能像人一样思考。”

麦卡锡摇了摇头。概率在他看来太模糊了，不够精确。符号逻辑才是计算机最擅长的事情。

索洛莫诺夫没有争辩。他只是每天坐在那里，听着，记着，自己想着。

其他受邀者来了又走。有的人只待了几天，有的人待了一两周。只有索洛莫诺夫，一个人，在达特茅斯度过了整个暑假。

三十年后，当有人问起那段日子，他说：“我只是觉得，这件事需要有人从头听到尾。”

那个夏天，人工智能作为一个学科正式诞生。但主导它的范式是符号主义。概率和不确定性的那条路，被冷落了整整三十年。

索洛莫诺夫没有沮丧。他知道，真理不需要投票。

三、一个人的研究所

（图片来源：AI生成）

一九六〇年，索洛莫诺夫写出了一生中最重要的论文。

在那篇论文里，他提出了后来以他名字命名的理论：所罗门诺夫归纳法。它的核心思想美得不像数学：

想象你面前有一个无限的序列：0, 1, 1, 0, 1, 0, 0, 1……下一个数字是什么？

这个问题之所以难，是因为它有无数种可能的解释。也许它来自一个简单的规则，也许来自一个极其复杂的规则。你怎么选？

索洛莫诺夫的答案是：把所有可能的规则都列出来，每个规则对应一个计算机程序。程序越短，权重越高。下一个数字的预测值，就是所有程序预测结果的加权平均。

这就是奥卡姆剃刀的数学形式——简单理论更可信。

哲学家和科学家念叨奥卡姆剃刀念叨了七百年，从来没有人像索洛莫诺夫这样，把它变成了一道可以计算的公式。

但问题在于，这道公式“不可计算”。要枚举所有可能的计算机程序，需要无限的时间和算力。在现实世界中，你无法真正执行它。

正是因为这个原因，他的理论在很长时间里被学界忽视。大多数人认为：既然算不出来，那就是纯理论玩具，没有实际价值。

索洛莫诺夫不这么看。

他没有在大学里工作，没有研究生，没有巨大的计算资源。他创办了一家叫“牛桥研究公司”的机构——其实就是自己家的一间屋子，加上一台打字机。他靠美国海军和美国空军的资助生活，每年提交一份简短的研究报告。报告通常很短，但密度极高，像压缩饼干一样。

军方的人未必完全理解他在说什么，但他们隐约觉得这个人在做一些非常基础、非常重要的事情，所以钱一直拨着。

索洛莫诺夫就这样，一个人，坐在自己的客厅里，用纸和笔，探索着人类智能的数学极限。

他没有同事，没有学生，没有同行评议的压力。只有一个问题，一张桌子，和一辈子。

四、二十五小时的一天

认识索洛莫诺夫的人都会提到他的古怪作息。

他周期性地把一天设定为二十五个小时。今天早上八点起床，明天九点，后天十点……他的生物钟像一个滑动的窗口，在整个钟面上缓慢而稳定地漂移。如果你凌晨两点给他打电话，接电话的可能性不比下午两点更低。

朋友给他打电话时，必须先问一句：“你现在处于一天中的几点？”

他会很自然地回答：“我的半夜。”或者“我的清晨。”

这种作息不是任性。索洛莫诺夫只是觉得，没有必要和地球的自转保持同步。时间是一个主观的维度，你完全可以按照自己的节奏使用它。他对朋友说：“我不需要和世界对齐，我只需要和我的想法对齐。”

他还有很多古怪的生活习惯。

有一次，他听人说香蕉皮经过烘烤后可能含有致幻物质。他真的把香蕉皮放进烤箱，烤到焦黑，然后小心翼翼地吃下去，结果什么都没发生。他耸耸肩，在纸片上记下一行字：“香蕉皮实验，阴性。”然后又试了一次，还是阴性，他平静地放弃了。

还有一次，他试图用厨房里的剩饭制作某种发酵饮料，结果喝了一口，味道极其糟糕。他在笔记中写道：“口感：不可描述；建议：不要饮用。”

这些实验看起来毫无意义，但它们反映着索洛莫诺夫思维的核心特质：他愿意亲自验证任何事情，他不接受传言，不接受“大家都这么说”。如果一个香蕉皮真的能让人产生幻觉，他想亲眼看看。

这种态度贯穿了他的学术生涯。当别人说“所罗门诺夫归纳法不可计算，所以没有意义”的时候，他也没有轻易接受。他亲自验证了这种不可计算性，最后得出了一个截然相反的结论。

他喜欢用打字机写作，键盘的哒哒声让每一个单词都有重量。他的“笔记本”是各种纸片的集合：信封背面、收据单、旧日历的空白处。他随手摸到什么就写什么，然后把它们扔进纸箱里，那一个纸箱后来变成了几十个纸箱。

如果你打开这些纸箱，会发现惊人的一致性。写作于一九六二年的一个公式旁边，可能贴着写于一九八七年的一段批注——同一张纸片上，时间跨度二十五年，两个不同年代的笔迹并排躺在一起，像在进行一场跨越时空的对话。

五、“不是Bug，是特性”

（图片来源：AI生成）

索洛莫诺夫的理论有一个始终无法绕过的障碍：不可计算性。

理论上，所罗门诺夫归纳法是最优的预测方法。但在实践中，你无法完全实现它。很多学者因为这个原因放弃了这条路。

但索洛莫诺夫有一个反直觉的洞见：正是这种不可计算性，解释了人类智能的某些本质特征。

人类的直觉——那种“说不清道不明”的判断力——不就是一种无法被完全规则化的能力吗？当一个围棋大师在落子前犹豫，当一个医生在面对复杂症状时沉吟，当一个诗人在两个词语之间徘徊——他们不是在“算”，他们是在“感”。

而这种“感”，也许正是不可计算性在真实世界中的体现。

索洛莫诺夫说：“一个完全可计算、完全可预测的智能，根本不是智能。那只是一台按部就班的机器。真正的智能，永远包含着不可预测的余量。”

他把这一点写进了自己的哲学：“不可计算性——这不是Bug，这是特性。”

这句话后来成为算法信息论领域最常被引用的格言之一。它温柔地告诉我们：不知道，不是弱点。不知道，是拥有智慧的起点。

他还有一个同样深刻的观点：他所罗门诺夫归纳法虽然不可实现，但它提供了“最优性”的绝对标准。就像一个完美的圆——你永远画不出完美的圆，但你知道完美的圆应该是什么样的，你知道自己要往哪个方向努力。

他说：“你需要一个方向。算法是通往目的地的道路，理论是地图。你可以没有精确的地图，但你不能没有方向，我的理论就是那个方向。”

六、漫长的等待

二十世纪七十年代和八十年代，是人工智能的寒冬。符号主义遭遇瓶颈，神经网络被证明无法解决异或问题而几乎被放弃。索洛莫诺夫的路线——算法概率论——则根本没有人注意。

在整个七十年代，引用他那篇一九六〇年论文的次数，用两只手就能数过来。

索洛莫诺夫没有抱怨。他继续坐在那扇窗前，喝咖啡，发呆，在纸片上写写画画。他的世界很小，但思维的世界很大。

偶尔他会去参加学术会议。在那些会议上，他是最不受关注的人之一。其他人穿着西装，打着领带，用流利的术语吸引听众。他穿着皱巴巴的外套，站在角落里，手里端着一杯已经凉了的咖啡。

他从不主动推销自己的理论，他觉得真理不需要推销。它要么被看到，要么被错过，你能做的只有把它放在那里。

他就这样把理论放在那里，放了四十年。

但也有一些例外。一九七一年，遗传算法的创始人约翰·霍兰德写信给他，询问他对学习理论的看法。索洛莫诺夫回了一封很长的信，用清晰的、几乎像教科书一样的语言，解释了自己十五年前就已经想清楚的事情。霍兰德后来写道：“那封信让我意识到，我已经站在了一个巨人的肩膀上，只是我不知道而已。”

一九八〇年代，朱迪亚·珀尔开始在加州大学洛杉矶分校研究贝叶斯网络——这项工作后来为他赢得了图灵奖。珀尔读过索洛莫诺夫的论文，并公开承认：“索洛莫诺夫比我们所有人都早走了几十年。”

索洛莫诺夫读到珀尔的论文时，露出了一个罕见的笑容。他对朋友说：“你看，他们在用不同的语言说同一件事。”

他没有嫉妒，没有觉得自己被忽略了。他像一个在阳台上等待了很久的老人，看到远方的地平线上终于出现了人影。他挥了挥手——不一定是为了让他们看见他，而是为了确认方向是对的。

七、迟来的春天

一九九〇年代后期，事情开始发生改变。

统计学习理论崛起，弗拉基米尔·瓦普尼克提出VC维理论，从数学上解释了为什么简单的模型比复杂的模型泛化能力更强——这是奥卡姆剃刀的另一种形式。贝叶斯方法回归，人们重新发现十八世纪的贝叶斯定理几乎是所有好用算法的核心。

在这些发展背后，索洛莫诺夫的名字开始被人提起。年轻的学者们开始问一个问题：“这个叫索洛莫诺夫的人，他六十年代提出的那个理论，和我们现在做的事情有什么关系？”

答案是：几乎一切关系。

整个机器学习的核心任务——从数据中学习规律，然后用这个规律预测未见的样本——就是索洛莫诺夫归纳法的工程版本。机器学习算法用一种近似的、可计算的方式，去逼近索洛莫诺夫那个完美的、不可计算的理想。

深度学习中的正则化，就是对“短程序”赋予更高的先验权重。贝叶斯神经网络中的不确定性估计，就是对所有可能的程序进行加权平均。大语言模型预测下一个词元，就是索洛莫诺夫预测序列中的下一个符号。

他的名字渐渐不再陌生。他开始收到更多的邀请，被请到斯坦福、MIT、剑桥去演讲。听众从几个人变成了几十个人，从几十个人变成了几百个人。

他的头发已经全白，步伐变得缓慢。但他的眼神依然清澈，像达特茅斯那个夏天一样清澈。

有一次演讲之后，一个年轻的博士生举手问他：“所罗门诺夫教授，您的理论在理论上最优，但实践中几乎不可能实现。那我们为什么还要研究它？”

索洛莫诺夫微笑了一下——那种淡淡的、从远处传来的微笑。

“因为你需要一个方向，”他说，“算法是通往目的地的道路，理论是地图。你可以没有精确的地图，但你不能没有方向。”

全场沉默了几秒，然后响起了掌声。不是那种热烈的、爆发式的掌声，而是一种缓慢的、从后排传到前排的、像潮水一样的掌声。

索洛莫诺夫站在讲台上，微微鞠了一躬。他知道，这一刻他不是被掌声感动了，他是被时间感动了。

八、秋天

二〇〇九年十二月七日，马萨诸塞州剑桥市。

一个冬日的傍晚，索洛莫诺夫因脑动脉瘤并发症，在医院里安静地闭上了眼睛。

他没有留下遗嘱，没有留下庞大的学术遗产，没有留下一个以他命名的学派。他留下的是几十箱手稿，和一整套关于智能、预测与不确定性的思想。

八十三岁。

他走的时候，深度学习刚刚开始展现它的威力。AlexNet要到三年后才会发表。Transformer、GPT、ChatGPT——这些改变世界的名字，他一个都没有看到。

但如果他能看到，他会认出那种模式。

他会认出那种“给每个可能性分配权重、然后加权平均”的优雅。他会认出那种在无限可能性中寻找最短解释的本能。他会认出那种预测下一个词元时、精致的犹豫。

他会笑，也许还会小声说一句：“看，我告诉过你们。”

语气里没有得意，没有炫耀。只有一种安静的、被时间验证了的笃定。

在他去世后，几十箱手稿被捐赠给学术机构。档案管理员打开那些纸箱时，被里面的混乱惊呆了——成千上万张纸片，没有分类，没有标签，有些已经发脆，边缘一碰就碎。

他们花了很长时间整理。在这个过程中，他们发现了令人吃惊的事情。

一张写于一九六一年的纸片上写着：“如果我们用一个巨大的神经网络来近似我的归纳法，也许它能工作。”旁边是一个潦草的神经网络图——这可以被视为深度学习的最早预言之一。

一张写于一九七四年的纸片上写着：“语言模型——用概率来预测下一个词——可能是通往理解的最短路径。”那时距离真正意义上的语言模型还有将近五十年。

一张写于一九八二年的纸片上写着：“不要害怕不可计算性。我们的大脑也许也是这样工作的。”那一年，个人计算机才刚刚开始普及。

这些预言像种子，被一个人用了几十年的时间，一颗一颗地埋进了图纸和公式里。他自己没有看到它们发芽，但他相信土壤是对的，季节是会来的。

尾声

（图片来源：AI生成）

雷·索洛莫诺夫的一生可以用四个词概括：孤独，耐心，温柔，精确。

他的孤独，是一个人面对一个没有人理解的想法，坚持了五十年。

他的耐心，是相信真理不需要捍卫，只需要等待。

他的温柔，是坦然承认自己的理论不完美、不可计算，却依然爱它如子。

他的精确，是拒绝让哲学停留在感慨里，而坚持把它翻译成公式和概率。

今天，每一次你和人工智能对话，每一次搜索引擎给你答案，每一次推荐系统猜中你的喜好——背后都有索洛莫诺夫的影子。

他没有改变世界，世界太大了，一个人改变不了。

但他改变了我们对智能的理解。他告诉我们：智能不是全知全能，不是快速运算，不是死记硬背。智能是在面对充满不确定性的世界时，依然能够做出合理猜测的能力。

那是一种优雅的犹豫，一种温柔的概率，一颗计算着的、犹豫着的、相信着的心脏。

他说过一句话，后来被刻在了他的墓碑上。话很短，只有几个字：

“未来是开放的。”

开放，意味着不可预知。不可预知，意味着可能性。可能性，意味着希望。

雷·索洛莫诺夫教给机器犹豫，也教给我们一件事：面对未知，不必恐惧。因为你越诚实地承认自己不知道，你的猜测，就越接近真理。

未来是开放的，永远。

“不可计算性——这不是Bug，这是特性。”

——雷·索洛莫诺夫，留给未来的话

02. 我的思考与感受

读完雷·索洛莫诺夫的故事，我坐在桌前沉默了很久。

打动我的，不是他的理论有多深刻——尽管确实深刻。打动我的，是他在完全不被理解的情况下，依然选择相信自己的直觉，并用一生的时间去验证它。

我们生活在一个崇尚“效率”和“可见成果”的时代。每个人都被要求产出，被要求证明自己的价值，被要求在最短的时间内拿出“能用的东西”。在这样的环境里，索洛莫诺夫像一面镜子，照出了我们内心深处的焦虑：我们是不是太急了？

他没有博士学位，没有教职，没有团队，没有学生。他的“研究所”就是自家的客厅。他的“论文”大多发表在不起眼的期刊上，或者根本没有发表。他用一台打字机和几十箱信封背面的纸片，搭建了一座通往未来的桥梁——而这座桥，在他生前几乎没有人看见。

但他不在乎。

他不是那种苦大仇深的受难者。恰恰相反，他活得自得其乐。他把时钟调成二十五小时，在凌晨三点工作，在下午四点醒来。他烤香蕉皮，酿发酵饮料，像孩子一样对世界保持着永不枯竭的好奇。他不觉得孤独是一种牺牲——他只觉得，有些问题需要时间，而时间是他唯一不需要向任何人索取的东西。

这让我想到一个问题：我们所谓的“坚持”，很多时候其实是一种与痛苦的对峙，咬着牙，攥紧拳头。但索洛莫诺夫的“坚持”不是这样的。他的坚持是温和的、从容的、甚至是轻盈的。他不需要用“坚持”这个词来形容自己的一生——他只是在做一件他觉得必须做的事情，就像呼吸一样自然。

也许这才是最罕见的天赋：不是聪明，而是那种不被外界评价所干扰的、近乎本能的笃定。

他所相信的——预测是智能的核心，不确定性不是缺陷而是特征，简单比复杂更接近真理——在今天已经成了人工智能领域的基本共识。GPT系列的“下一词元预测”就是他的归纳法在工程上的近似表达，虽然实现这个近似的人可能并不知道他的名字。

历史常常是这样。种子在泥土里沉默了几十年，没有人浇水，没有人施肥，甚至没有人知道它在那里。然后有一天，它发芽了。人们为它的成长欢呼，却很少有人去追问这颗种子是谁种下的。

索洛莫诺夫大概不会在意这些。他的一生已经足够完整了——不是因为得到了认可，而是因为他在自己认定的事情上，从未背叛过自己。

“未来是开放的。”

这是他墓碑上的话，也是他留给世界的遗言。它不是一句空洞的安慰，而是一个经过六十多年数学推导和人生沉浮后得出的结论：未来之所以值得期待，不是因为它注定美好，而是因为它充满不确定性。而不确定性，恰恰是希望存在的前提。

我想，这就是他教给我最重要的事情：在面对未知的时候，一个人可以有两种选择。一种是因为不可预测而恐惧，试图用僵硬的规则锁住所有的可能性；另一种是坦然接受不可预测，然后用最温柔的概率去拥抱它，相信短而简单的解释，同时为意外留出空间。

索洛莫诺夫选择了后者。他用他的一生告诉世界：真正的坚韧，不是从不动摇，而是即使不确定，也选择相信。

03. 本期提问

如果你可以回到一九五六年达特茅斯会议的那个夏天，坐在索洛莫诺夫对面的那把椅子上，你会对他说什么？

——是告诉他六十年后他的名字终将被写进人工智能的史册，还是告诉他即使如此、他的理论依然会在很长一段时间里无人问津？

而你有没有想过，也许他两者都不需要听到，因为他从来就不是为了被看见才去思考的？