网易首页 > 网易号 > 正文 申请入驻

Karpathy的新思路:教科书要为 AI 重写,从人类可读变为LLM优先

0
分享至


我是Andrej Karpathy追踪器,,基本这位大神一直处于AI最前沿,毕竟Andrej Karpathy发的长文或者演讲都是干货满满

Andrej Karpathy 分享了一个有意思的想法:把人类的知识、传感器和执行器,从人类优先、人类可读转变为LLM优先、LLM可读。换句话说,就是不再只考虑人类怎么学习知识,而是要为LLM设计一个最适合它们理解和训练的知识表达方式。他称之为 “LLMification”


AK举了一个最近令他着迷的例子 —— 对于每一本教材的 PDF/EPUB,都存在一种完美的“LLM 化”方式。这种方式不是为了人类,而是专门为 LLM 设计的(当然,这不是一个简单的转换过程,需要人类参与其中):

所有的讲解部分会被提取出来,整理成 Markdown 文档,包括所有的 LaTeX、样式(加粗/斜体)、表格、列表等。所有的图形都会被提取为图片

所有的例题会被提取出来,转化为 监督微调(SFT) 的样本。同时,教材里对前面图表等的引用也会被解析并保留

所有的练习题会被提取出来,转化为 强化学习(RL) 的环境样本。正确答案会从答案手册中找到并附上。任何额外信息会以答案手册的形式添加,以便未来可能的 LLM 充当评判者

合成数据扩展:对于每个具体问题,你都可以构造一个“无限问题生成器”,能生成这一类问题的无限变体。例如,教材里有一道题是“在上午 9 点整时,时针和分针之间的夹角是多少?”——我们可以把它推广到任意时间点,用 Python 代码计算出答案,并生成各种提示文本的合成变体

以上所有数据都可以被很好地索引,并嵌入到 RAG 数据库中,或者作为 MCP 服务器提供出来以便使用

Karpathy 展示了 GPT-5 帮他写的一个“钟表角度生成器”。它可以随机生成不同时间点的题目,比如:

11:07 时,时针与分针的夹角是多少?(答案:68°) 4:14 时的角度是多少?(答案:43°) 7:02 时呢?(答案:161°)


这种方法意味着,LLM 不仅能像学生一样学习现成知识,还能不断获得海量的练习题,几乎无限制地强化自己的解题能力

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
云南知名国企换帅,人均薪酬超31万元

云南知名国企换帅,人均薪酬超31万元

华美商业
2026-01-17 18:13:11
多款儿童面霜被曝检出激素、兽药成分

多款儿童面霜被曝检出激素、兽药成分

新快报新闻
2026-01-17 15:27:05
陈浩民与女儿同框,14岁陈雅薷东南亚长相很大气,颜值没有爸爸高

陈浩民与女儿同框,14岁陈雅薷东南亚长相很大气,颜值没有爸爸高

丹妮观
2026-01-17 22:06:42
克林顿:一生有两遗憾,中国入WTO和我做错了

克林顿:一生有两遗憾,中国入WTO和我做错了

谢纶邮轮摄影
2026-01-16 21:31:53
重庆一网红举办刨猪汤活动现场发生拥挤推搡多人倒地,当地回应:不是踩踏,已处置完毕

重庆一网红举办刨猪汤活动现场发生拥挤推搡多人倒地,当地回应:不是踩踏,已处置完毕

潇湘晨报
2026-01-17 18:18:23
已确认!时隔7年著名笑星2026春晚回归!

已确认!时隔7年著名笑星2026春晚回归!

家在栖霞
2026-01-15 09:10:46
许家印侄子许火健广州豪宅被法拍,面积317平方米,起拍价4400万元,配有5个洗手间!他现为广州恒大实业集团董事,有31条限制高消费提示

许家印侄子许火健广州豪宅被法拍,面积317平方米,起拍价4400万元,配有5个洗手间!他现为广州恒大实业集团董事,有31条限制高消费提示

每日经济新闻
2026-01-17 10:37:06
罗永浩确认被微博禁言15天,个人不会再回应“西贝事件”

罗永浩确认被微博禁言15天,个人不会再回应“西贝事件”

IT之家
2026-01-17 22:22:05
你永远不知道游戏里队友的现实职业有多离谱!网友:我队友是道士

你永远不知道游戏里队友的现实职业有多离谱!网友:我队友是道士

夜深爱杂谈
2026-01-15 20:22:21
彻底瞒不住了!特朗普反常言行暴露痴呆症状,白宫也无能为力了

彻底瞒不住了!特朗普反常言行暴露痴呆症状,白宫也无能为力了

米果说识
2026-01-17 19:46:36
盐城市人大常委会最新人事任免

盐城市人大常委会最新人事任免

俯瞰江苏
2026-01-17 10:47:14
山东干了一件全国从未有过的大事,官方正式发文推进住宅以旧换新

山东干了一件全国从未有过的大事,官方正式发文推进住宅以旧换新

流苏晚晴
2026-01-17 19:33:26
主教练正在热身!退役两年当过教练,这就来CBA打球了?

主教练正在热身!退役两年当过教练,这就来CBA打球了?

篮球大图
2026-01-17 16:48:28
山东101-106江苏遭4问题!后场被虐,克里斯情绪+邱彪用人出问题

山东101-106江苏遭4问题!后场被虐,克里斯情绪+邱彪用人出问题

篮球资讯达人
2026-01-18 01:49:14
里海货船沉没,伊朗还在向俄运军火?48小时打掉6套防空和雷达

里海货船沉没,伊朗还在向俄运军火?48小时打掉6套防空和雷达

鹰眼Defence
2026-01-15 16:29:20
这应该是目前世界上最美的女总统了。

这应该是目前世界上最美的女总统了。

南权先生
2026-01-03 17:05:59
热议U23国足点杀乌兹:土帅玩防守没这么成功过,李昊笑容代表自信

热议U23国足点杀乌兹:土帅玩防守没这么成功过,李昊笑容代表自信

懂球帝
2026-01-17 22:49:01
24岁小伙爱上51岁大妈,大妈性欲高还虐待他,结果被小伙砍成5段

24岁小伙爱上51岁大妈,大妈性欲高还虐待他,结果被小伙砍成5段

胖胖侃咖
2024-04-22 08:00:09
中国芯片最大IPO,要来了

中国芯片最大IPO,要来了

华尔街见闻官方
2026-01-17 19:49:33
6次扑救,罗伯特-桑切斯当选切尔西vs小蜜蜂全场最佳球员

6次扑救,罗伯特-桑切斯当选切尔西vs小蜜蜂全场最佳球员

懂球帝
2026-01-18 02:07:42
2026-01-18 03:00:49
AI寒武纪 incentive-icons
AI寒武纪
专注于人工智能,科技领域
1027文章数 394关注度
往期回顾 全部

科技要闻

两枚火箭发射失利,具体原因正排查

头条要闻

李昊发挥神勇 U23国足点球战胜乌兹别克斯坦晋级四强

头条要闻

李昊发挥神勇 U23国足点球战胜乌兹别克斯坦晋级四强

体育要闻

三巨头走了俩,联盟笑柄却起飞了

娱乐要闻

马年春晚首次联排场外细节!

财经要闻

保不准,人民币会闪击6.8!

汽车要闻

林肯贾鸣镝:稳中求进,将精细化运营进行到底

态度原创

旅游
健康
数码
房产
时尚

旅游要闻

石上生梅,荒坡成景!酉阳叠石花谷藏着武陵山区的振兴密码

血常规3项异常,是身体警报!

数码要闻

ATK RS7 Air磁轴键盘开启预约,435元起配置亮眼

房产要闻

真四代来了!这次,海口楼市将彻底颠覆!

“这个风格”今年冬天又火了!谁穿谁高级

无障碍浏览 进入关怀版