北京
我做了一个叫 Bookmark Brain 的东西，原本只是想把自己的收藏夹变成可对话的知识库。七年前开始攒的 Twitter 书签和点赞，到现在攒了将近七万条。定时任务会自动拉取新内容，不需要我手动整理。问它一个问题，它会检索出最匹配的收藏内容，然后用听起来像我的方式组织出一个回答。效果说实话好得有点过头了——我问它关于 API 设计的看法，它回得比我让那些通用大模型模仿我口吻写出来的东西还要像我。
真正让它显露原形的，恰恰是作为创作者最需要的那种能力——我在测试时，偶尔会碰到自己几年前收藏的两篇文章，观点根本对不上。Bookmark Brain 会在语意上选择跟问题更近的那一篇，流畅地给你一个答案。但它不会做一件事情：把这两件事拉到一起，指出矛盾，然后给出一个更高层面的判断。它不调和。它不追问。它只是挑一个最靠近的，交给你。
这其实不是我这个系统哪里出了毛病。实际上，这正是整个检索式技术路线从底层就无法跨越的东西。
2014年，有位叫 Amni Rusli 的人在博客里写过一篇《Irreplaceable Us》，说的差不多就是这件事，只是那时候还没有 RAG 这样的词。她的描述很直接——机器在给定的参数空间里可以永远优化下去，喂它数据和代码，它就在这个圈子里做到极致。但它做不了一件事：跳出去。跳进一个完全不同的参数池子里，从那里给你带回点新的东西。她举的例子是爱因斯坦和狄拉克。爱因斯坦读休谟、读马赫，读到某一天，他有了勇气把“绝对同时性”这个概念整个扔掉。狄拉克面对的情况是玻尔告诉他，克莱因已经把相对论性的电子问题解完了，但狄拉克不管——因为那个已有的解释跟他的“宝贝”理论不搭，所以他转过头去找另一个答案。
两年前，也就是今年一月，Google DeepMind 发表了一篇论文，把那篇博客里的直觉换成了更冷一点的语言。Tom Zahavy 的《LLMs Can't Jump》，题目本身就是一个判断。论文用了一张爱因斯坦画过的图——爱因斯坦曾经在一封给朋友莫里斯·索洛文的信里画过这个：感官经验跳到一个公理系统上，然后从这个系统出发进行演绎。那个跳跃中间的空隙，哲学家皮尔士有一个专门的叫法，这篇论文也借了过来。
皮尔士把人类的推理分成三种。第一种是演绎，规则加上案例，给出结果，这是唯一能保证结论为真的推理方式。第二种是归纳，案例加上结果，推导出规则，这跟让大模型在一万亿份文档上训练本质上差不多。第三种是溯因（abduction），规则加上一个意外的结果，你需要想出一个新的案例来解释它，或者干脆——想出一条新的规则。这就是地球物理学那一下跳跃。你拿到的永远只是地震波迹、重力异常、电阻率曲线，你永远看不到岩石本身。你看到的是岩石的回声，你要从这堆回声里推断出地下到底藏着什么结构，它得刚刚好能解释所有这些回声，而且不能有第二种解释。没人会递给你标准答案。
这就是调和两篇相互矛盾的书签所需要的能力。这就是爱因斯坦扔掉绝对同时性的那一下。而这也是目前任何流水线上的一大串检索模块和语言模块，想跳也跳不进去的那个池子。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
