网易首页 > 网易号 > 正文 申请入驻

Karpathy知识库「LLM Wiki」火爆了,全网围观讨论

0
分享至



机器之心编辑部

还记得前几天,AI 领域知名学者 Andrej Karpathy 做客一档节目时,半开玩笑地提到:token 用不完会让人焦虑,就像患上了某种「AI 精神病」。

这句话当时听起来有点夸张,但当你仔细看他最近在做的一系列东西,会发现他确实在用 AI 不断试各种路径。

就在近日,Karpathy 构建的 LLM 知识库「LLM Wiki」爆火,在社区迅速传播,引发大量讨论。



就连 Karpathy 自己都忍不住自夸一句:哇,我这条推文真的火爆了!



这条爆火的推文介绍了「LLM Wiki」的构建思路。Karpathy 表示,他把最近的想法稍微整理、优化了一下,然后用一个「idea file」的形式分享出来。在 LLM agent 时代,分享具体代码或应用的意义正在变弱,现在只需要分享想法,然后把它交给 Claude、Grok 等 Agent,它就可以根据你的需求,自动搭建一个属于你自己的个人知识库。

Karpathy 把这个想法整理成 gist 形式进行分发:你可以把它交给你的 agent,它会帮你构建一个属于你自己的 LLM wiki,并指导你如何使用等等。



地址:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

这个思路可以说是有点超前,在 Agent 时代,这意味着我们已经不需要再分享具体代码或应用了!只需要把「想法」交给对方的 Agent,让它根据你的需求自动完成定制和实现!

有观点认为,这不只是一个 AI 工具,而更像是一种元框架(meta-framework)。它并不依赖某个具体模型或技术栈,而是在尝试定义一种人类与 AI 协作管理知识的方式。随着模型不断迭代、框架持续演进,让 LLM 帮助编译并维护一个持续生长的 Wiki 这一模式,反而具备更长期的稳定性和适用性。



还有观点将这套「LLM Wiki」的工作方式梳理成一个更清晰的闭环,方便大家理解其核心逻辑:

  • 将原始资料(论文 / 文章 / 代码 / 图片等)整理到 raw/ 目录中
  • 由 LLM 将其编译为一个结构化的 wiki(包含 .md 文件、反向链接以及概念分类)
  • 使用 Obsidian 作为前端进行浏览
  • 当 wiki 达到一定规模(他的案例是:100 篇文章、40 万字)后,可以直接围绕整个 wiki 提出复杂问题
  • 将每一次问答的输出重新归档回 wiki—— 这一点我认为是核心;知识库会随着使用不断变强
  • 由 LLM 定期进行健康检查:发现矛盾数据、补全缺失信息、挖掘新的研究方向

在这一过程中,一个颇具启发性的判断是:在中等规模下,这套体系并不依赖传统意义上的 RAG。只要 LLM 能够维护好索引和摘要,就已经可以支撑起有效的检索与推理。

进一步看,这一思路的延伸方向也逐渐清晰,通过合成数据与微调,将知识逐步内化进模型权重,而不再仅仅依赖上下文窗口进行调用。

从这个角度来看,这已经不只是一个使用技巧,而是在逼近一种自我增强的知识系统形态,也可以被视为一个具备产品潜力的雏形。



为何要构建「LLM Wiki」

Karpathy 表示,大多数人使用 LLM 处理文档的方式,基本都类似于 RAG:你上传一组文件,模型在查询时检索相关片段,然后生成答案。

这种方式是有效的,但问题在于每一次提问,模型都在从零重新发现知识。没有积累。如果你问一个需要综合五篇文档的复杂问题,模型每次都要重新去找相关片段,再拼接起来。没有任何东西被沉淀下来。像 NotebookLM、ChatGPT 文件上传,以及大多数 RAG 系统,基本都是这种模式。

「LLM Wiki」提出的是一种不同的思路,不是在查询时直接从原始文档中检索,而是让 LLM 逐步构建并维护一个持续存在的 wiki,一个结构化、相互链接的 Markdown 文件集合,作为你和原始资料之间的中间层。

当你添加新的资料时,模型不只是简单地索引以备后用,而是会真正去阅读它,提取关键信息,并将其整合进现有的 wiki:更新实体页面、修订主题总结、标记新信息与旧结论之间的冲突,对整体认知进行强化或修正。知识被编译一次,并持续更新,而不是在每次查询时重新推导。

用 Karpathy 的话来说,这个 wiki 是一个持续存在、不断累积的产物。交叉引用已经提前建立,矛盾已经被标注,综合结论已经反映了你读过的所有内容。随着你不断加入新资料、提出新问题,这个 wiki 会持续变得更丰富。

你几乎不需要(或者很少需要)亲自去写这个 wiki,所有内容都由 LLM 来生成和维护。你负责的是提供资料、进行探索、提出问题;而模型负责所有苦活:总结、建立关联、归档整理、维护结构,让知识库随着时间真正变得有用。在实际使用中,通常是一边打开 LLM agent,一边打开 Obsidian:模型根据对话不断修改内容,而你可以实时浏览结果,点开链接、查看知识图谱、阅读更新后的页面。

这么说吧,Obsidian 是 IDE,LLM 是程序员,wiki 是代码库。

「LLM Wiki」是如何构建的?

这个系统可以分为三个层次:

原始数据:这是你整理好的原始资料集合,包括文章、论文、图片、数据文件等。这一层是不可变的:LLM 只读取它们,但不会对其进行任何修改,这是整个系统的事实来源。

Wiki 层(The wiki):一个由 LLM 生成的 Markdown 文件目录,包含摘要、实体页面、概念页面、对比分析、整体概览以及综合性总结等内容。这一层完全由 LLM 负责:它会创建页面,在新增资料时更新内容,维护交叉引用,并保证整体一致性。你负责阅读它;LLM 负责编写和维护它。

Schema 层(The schema):一份指导性文档(例如给 Claude Code 用的 CLAUDE.md,或给 Codex 用的 AGENTS.md),用于告诉 LLM:这个 wiki 的结构是什么、遵循哪些规范,以及在处理数据(ingest)、回答问题、维护内容时应采用什么样的工作流程。

这是整个系统的关键配置文件,正是它让 LLM 从一个通用聊天模型,变成一个有纪律的 wiki 维护者。随着你在具体领域中不断实践,这一层也会与你和 LLM 一起持续演化、不断优化。

操作(Operations)

数据摄取(Ingest):你将新的资料加入到原始数据集合中,并让 LLM 对其进行处理。一个典型流程是:LLM 读取资料,与你讨论关键要点,在 wiki 中写出一篇摘要页面,更新索引,同时更新整个 wiki 中相关的实体页和概念页,并在日志中追加一条记录。一个来源往往会影响 10–15 个 wiki 页面。Karpathy 个人更倾向于一次处理一个来源,并保持参与,他会阅读摘要、检查更新,并引导 LLM 强调重点。但你也可以选择批量导入多个来源,减少监督。最终,你可以形成一套适合自己风格的工作流,并将其记录在 schema 中,供后续使用。

查询(Query):你可以围绕 wiki 提出问题。LLM 会搜索相关页面,阅读内容,并综合生成带引用的回答。回答形式可以根据问题而变化,可以是一个 Markdown 页面、一个对比表、一份幻灯片(Marp)、一张图表(matplotlib),甚至是一个画布(canvas)。关键的一点是:好的回答可以被重新归档进 wiki,成为新的页面。无论是一次对比分析、一段推理,还是你发现的一条关联,这些内容都具有价值,不应该消失在聊天记录里。通过这种方式,你的探索会像导入的资料一样,在知识库中持续积累。

质量检查(Lint):可以定期让 LLM 对 wiki 进行健康检查。重点包括:页面之间是否存在矛盾;是否有被新资料取代的过时结论;是否存在没有入链的孤立页面;是否有被提及但尚未建立页面的重要概念;是否缺少交叉引用;是否存在可以通过网页搜索补充的数据空缺。LLM 也很擅长提出新的研究问题和建议新的信息来源。这一过程可以帮助 wiki 在不断扩展的同时,保持结构清晰和内容一致。

「LLM Wiki」应用场景

这种方式可以应用在很多不同场景中,例如:

个人层面:记录你的目标、健康、心理状态、自我成长过程,整理日记、文章、播客笔记,逐步构建一个关于你自己的结构化认知。

研究场景:围绕某个主题深入数周甚至数月,阅读论文、文章、报告,逐步构建一个不断演化的完整知识体系和核心观点。

读书场景:随着阅读进度整理每一章内容,建立人物、主题、情节线索之间的关联页面。读完之后,你会得到一个丰富的配套 wiki。可以类比像 Tolkien Gateway 这样的维基,由社区多年构建的、包含人物、地点、事件、语言等内容的庞大知识网络。现在,你可以在阅读过程中个人构建类似系统,由 LLM 完成所有的关联和维护。

企业 / 团队:一个由 LLM 维护的内部 wiki,持续接入 Slack 对话、会议记录、项目文档、客户沟通等信息,必要时由人工参与审核更新。由于维护工作由模型承担,这个 wiki 能够保持实时更新,而不再依赖团队成员额外投入精力。

竞品分析、尽职调查、旅行规划、课程笔记、兴趣深度研究,任何需要长期积累知识、并希望其被系统化组织而不是零散分布的场景,都可以采用这种模式。

最后,Karpathy 还强调了,关于「LLM Wiki」,他只是提供了一种思路,而不是一个具体实现。具体的目录结构、schema 规范、页面格式以及工具链,都会取决于用户使用场景、个人偏好以及所选择的 LLM。

上面提到的所有内容都是可选且模块化的,有用的就用,不合适的可以忽略。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“全班就2个女生表情正常”,廉价毕业照被吐槽,家长咋不管管

“全班就2个女生表情正常”,廉价毕业照被吐槽,家长咋不管管

番外行
2026-10-06 19:03:28
中国女篮21次失误,日本仅9次!U18亚洲杯小组赛收官战:中国女篮68-73惜败日本

中国女篮21次失误,日本仅9次!U18亚洲杯小组赛收官战:中国女篮68-73惜败日本

开成运动会
2026-10-06 23:29:57
陕西女警花卧底被揪出,被歹徒折磨7天解救:人都已经垮了

陕西女警花卧底被揪出,被歹徒折磨7天解救:人都已经垮了

罪案洞察者
2025-03-07 08:59:25
打俄军神器海马斯真要过时了?乌军越来越少使用海马斯,波兰可能要转卖刚到手的20套美国海马斯火箭炮!

打俄军神器海马斯真要过时了?乌军越来越少使用海马斯,波兰可能要转卖刚到手的20套美国海马斯火箭炮!

古古聊军事
2026-10-06 19:22:32
5万公里高铁背后,大量女乘务员纷纷离职,藏着多少现实困境?

5万公里高铁背后,大量女乘务员纷纷离职,藏着多少现实困境?

猫叔东山再起
2026-10-05 18:35:13
别被“某音”前凸后翘的网红骗了

别被“某音”前凸后翘的网红骗了

健身厨屋
2026-06-17 18:56:01
热苏斯朋友:事态之所以被点燃,罪魁祸首就是C罗身边的人

热苏斯朋友:事态之所以被点燃,罪魁祸首就是C罗身边的人

懂球帝
2026-10-06 17:53:34
松岛辉空发文庆祝!张本智和放话:要夺回第一并在半决赛击败对手

松岛辉空发文庆祝!张本智和放话:要夺回第一并在半决赛击败对手

排球黄金眼
2026-10-06 09:19:47
齐达内封神!四大替补踢疯了:14分钟连造4球 法国4-1逆转FIFA第8

齐达内封神!四大替补踢疯了:14分钟连造4球 法国4-1逆转FIFA第8

狍子歪解体坛
2026-10-06 04:47:20
演员张小婉经纪人曝男同事被导演揩油!娱乐圈的恶,从来不只针对女明星

演员张小婉经纪人曝男同事被导演揩油!娱乐圈的恶,从来不只针对女明星

师维
2026-10-06 23:05:18
中国人还在快乐过节,世界已发生很大变化

中国人还在快乐过节,世界已发生很大变化

牛弹琴
2026-10-06 07:56:47
调整!今晚中国男足直播表:CCTV5,CCTV5+不播,CCTV16节目单

调整!今晚中国男足直播表:CCTV5,CCTV5+不播,CCTV16节目单

阿嵀体育评论
2026-10-06 16:03:09
《兰香如故》大结局:吕蕺儿经商20年重回金陵!许兰香独撑林家濒临绝境,蕺儿携十万两白银救急,两姐妹后巷抱头痛哭:我再也不走了

《兰香如故》大结局:吕蕺儿经商20年重回金陵!许兰香独撑林家濒临绝境,蕺儿携十万两白银救急,两姐妹后巷抱头痛哭:我再也不走了

喵喵的追剧笔记
2026-10-05 19:09:22
“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

蝴蝶花雨话教育
2026-10-06 12:51:00
看完国足0-1塔吉克斯坦!不得不承认的5个事实,韦世豪还是不成熟

看完国足0-1塔吉克斯坦!不得不承认的5个事实,韦世豪还是不成熟

烟雨洛神生
2026-10-06 23:14:23
那些鼓吹色情合法化的人,看看泰国色情合法化如今的现状!

那些鼓吹色情合法化的人,看看泰国色情合法化如今的现状!

童童聊娱乐啊
2026-10-06 01:07:06
医生发现:天天走路锻炼的糖尿病人,过不了多久,会有 8 大好处

医生发现:天天走路锻炼的糖尿病人,过不了多久,会有 8 大好处

华庭讲美食
2026-10-06 00:53:38
蔡康永家世被扒,评论区:这背景不独才怪!

蔡康永家世被扒,评论区:这背景不独才怪!

默默有话说
2026-10-05 16:25:09
历史规律会再次应验?中国或有可能,成为最后一个超级大国?

历史规律会再次应验?中国或有可能,成为最后一个超级大国?

黄丽搞笑小能手
2026-10-06 12:54:52
小米SU7高速实测:700km标称续航,实际跑了多少?

小米SU7高速实测:700km标称续航,实际跑了多少?

侃故事的阿庆
2026-10-06 08:16:51
2026-10-07 00:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14123文章数 142744关注度
往期回顾 全部

科技要闻

物理学奖揭晓!一位天体物理科学家独享

头条要闻

婚宴14道主菜上错7道 新郎父亲:亲友说菜太差 没面子

头条要闻

婚宴14道主菜上错7道 新郎父亲:亲友说菜太差 没面子

体育要闻

30天30队·雄鹿:没有扬尼斯,重新试错吧

娱乐要闻

身家千万独居的王曼昱,私底下有多壕

财经要闻

杨植麟断腕:Kimi的至暗时刻与远征

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

旅游
游戏
亲子
公开课
军事航空

旅游要闻

国庆乐游花溪|风过九道拐,轮下见山河

临时工!PS两款3A大作免费领

亲子要闻

这哪里像是一个妈生的

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

也门政府军称收复红海港口城市穆哈

无障碍浏览 进入关怀版