网易首页 > 网易号 > 正文 申请入驻

OpenAI大佬爆料:本科生靠一篇博客杀进OpenAI!没博士,0篇论文

0
分享至

新智元报道

编辑:Aeneas

【新智元导读】他没博士、没论文,却靠公开改进论文和跑基准测试,直接打动大佬、入职OpenAI!Noam Brown亲证:行动力和开源项目,才是逆袭顶级AI实验室的真正通行证。

就在今天,OpenAI传奇研究员 、德扑AI之父Noam Brown的一篇文章被刷屏了。

没有博士学位,没有研究背景,是否有可能在顶尖AI实验室找到工作?

这听起来像天方夜谭,但这个世界上奇妙的地方就在于,这样的例子还真不少。

比如,一个叫Keller Jordan的小哥,仅仅凭借一篇开源博客,就成功入职OpenAI,成为一名机器学习研究员!

是的,他没有写论文,而是将完整的研究过程、代码和实验结果在GitHub上完全开源。

最后Noam Brown总结道:虽然如今开放研究的空间比以前小了,但是在已有论文的基础上做改进,依然是一个向实验室研究员证明自己能力的绝佳方式!

这种做法,也会让对方更有信心,为你争取到一次面试机会。

从AI审核做起,走向人生巅峰

2020年,Keller毕业于UCSD,获得数学和计算机的双学士学位。

毕业时,他从未发表过任何一篇论文。

第一份工作, 是在一家人工智能内容审核初创公司。

有一天,他看到谷歌研究大牛Behnam最近发表的一篇论文,想到了一个改进思路,于是给Behnam发了一封邮件。

Behnam看到邮件后,同意指导这个年轻人。在没有人脉、没有背景的情况下,小哥就这样和大佬搭上了线。

更神奇的来了,这段合作,最终促成了一篇ICLR论文。

再后来,Keller的一项表现亮眼的工作「NanoGPT speed run」,直接改变了全新的研究范式,这不仅让特斯拉AI负责人Karpathy称赞不已,还引起了OpenAI的注意。

这不是一篇传统意义上的论文,却成为Keller命运的转折点。

因为他所有的工作都有完整记录,而且成果可量化、进展清晰,所以,OpenAI毫不犹豫地向他伸出了橄榄枝。

让Karpathy直呼「干得漂亮」

NanoGPT是Karpathy开源的一个项目,是一个极简的轻量级GPT训练和微调框架。

而Keller喜欢干的一件事,就是不断刷新NanoGPT的训练速度。为此,他不断尝试新的方法。

在2024年10月,他跑出了一个成果,将训练Transformer模型的token效率提高了3.8倍!

这也让他直接赢得Karpathy的盛赞。

NanoGPT speedrun的目标听起来非常简单:在固定模型规模(124M Transformer)和固定验证集损失目标(3.28 val loss)的前提下,用尽可能少的token、尽可能短的时间完成训练。

Keller所做的,就是基于Karpathy的nanoGPT/llm.c PyTorch训练代码,将其改造为一个可复现、可量化、可对比的基准。

最终,他让Token效率提升了3.8倍,而且从原本约10B tokens降低到2.7B tokens,即可达到目标loss。

这意味着,这个改进可以被严格验证,是一个硬指标。

让实验便宜到「人人能参与」

而且,Keller还非常有独创性。

与很多动辄需要数十万、上百万算力成本的训练不同,他在设计这个speedrun时,有一个非常明确的原则:让尝试新想法的成本足够低。

为此,他刻意做了几件事,比如让代码压缩到极简,只有537行;在8×H100的全新环境下,让安装和运行的时间仅为20分钟;甚至单次的尝试成本,低至8美元。

即使在今天的AI研究环境中,这也是一个极其罕见的设计选择。

这就意味着,从此不是只有大实验室才能参与,所有个人研究者、学生、独立工程师都能快速验证想法,创新不会再被算力门槛挡住。

被OpenAI注意到

就这样,NanoGPT speedrun成为了Keller逆袭之路上的关键一环。

一切都表明,这个成果非常硬:代码、日志、实验都完全可复现;在指标上,完全无法作弊;甚至,还有开发社区的真实参与。

甚至连验证方式都被设计得极其严谨:每一次speedrun的log文件中,都会包含完整代码副本。

任何人想复现一个新纪录,只需调用log文件即可。

Muon横空出世

而接下来,整件事情发展到了高潮。

在2024年底,他设计的神经网络隐藏层的优化器Muon横空出世,直接凭卓越性能刷新了NanoGPT和CIFAR-10训练速度的世界纪录!

Muon,是一种为神经网络2D参数隐藏层设计的优化器。它的核心思想是,SGD-动量法(SGD-momentum)生成的更新矩阵,通过Newton-Schulz迭代进行正交化处理,生成接近于半正交矩阵的更新,从而提升训练效率。

它的实现简单高效,支持在bf16精度下稳定运行,显著降低了计算开销。

比起AdamW优化器,Muon在多个任务中,表现非常惊艳。

虽然AdamW能让GPT、LLaMA、Qwen学得又稳又快,但随着模型参数从几亿增加到几千亿,训练时间从几天变成几周甚至几个月,AdamW的局限性开始显现。

虽然还未成为主流通用优化器,但Muon的出现表明,它很可能是AI模型训练领域的一次重大基础创新。

入职OpenAI

Muon在开发者社区的影响力越来越大,也就在同时,Keller于2024年12月,正式加入OpenAI。

有趣的是,Keller在2月份表示,虽然Muon火了,也帮他进入了OpenAI,但是他不会给Muon写一篇论文。

在他看来,与其在arXiv发一篇大概率被「淹没」的论文,还不如继续老老实实地研究自己的优化器。

毕竟在他看来,大多数优化器论文都是虚假的水文。

这些人,都成功逆袭大公司

此外,Noam Brown还列举了其他成功的案例。

比如被谷歌DeepMind发掘的Sholto Douglas。

他在X上十分低调,从未以一作身份发表过任何引人注目的论文,入行时间也只有一年半,然而,他却是Gemini成功的背后关键人物。

还在麦肯锡工作时,Sholto就逐渐确信AI会迎来爆发,于是开始在业余时间做自己的项目,还在Jax的GitHub上提出不少有洞见的问题。

这些表现打动了James Bradbury,最终被邀请到谷歌DeepMind去面试。

Andy Jones是一位半退休的量化分析师,在测试时计算还没火起来之前,他就写了一篇论文,毕竟了比较了扩大预训练规模和扩大测试时计算量的影响。

这篇论文让人印象极其深刻,并是因为刷新了某个基准,而是做出了非常聪明的设计选择,自己编写了GPU加速的环境,并且进行了严谨细致的消融实验。

最终,Andy Jones入职Anthropic。

参考资料:

https://x.com/polynoamial/status/2014084431062114744

https://x.com/polynoamial/status/2014084432685326485

https://x.com/polynoamial/status/2014084509575291163

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

菁妈育儿
2026-11-18 13:36:22
周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

生活新鲜市
2026-11-17 09:00:00
收评:创业板指涨0.85% 算力租赁概念全天强势

收评:创业板指涨0.85% 算力租赁概念全天强势

证券时报
2026-11-18 15:28:05
41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

极目新闻
2026-11-18 08:26:33
官宣了!罗伯特・帕丁森成为新一任007

官宣了!罗伯特・帕丁森成为新一任007

齐鲁壹点
2026-11-17 07:20:15
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
10分钟打爆韩国,却还在踢第四级别!苗润东离中超到底有多远?

10分钟打爆韩国,却还在踢第四级别!苗润东离中超到底有多远?

曹老师评球
2026-11-17 21:43:08
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
马斯克遇上大麻烦!星链被欧洲围堵,欧洲为何对星链下手了?

马斯克遇上大麻烦!星链被欧洲围堵,欧洲为何对星链下手了?

普陀动物世界
2026-11-18 05:49:40
官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

林轻吟
2026-11-10 07:17:48
国际货币基金组织预测:中国2027年GDP,将彻底领先日本5倍以上!

国际货币基金组织预测:中国2027年GDP,将彻底领先日本5倍以上!

生活新鲜市
2026-11-18 05:52:20
上层作孽,害死好人

上层作孽,害死好人

我是历史其实挺有趣
2025-08-02 08:59:00
30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

我爱英超
2026-11-18 00:01:01
扎堆成年出道!贝儿、黄多多等萌娃陆续进圈,星二代的高起点,是红利也是枷锁

扎堆成年出道!贝儿、黄多多等萌娃陆续进圈,星二代的高起点,是红利也是枷锁

随性的海浪
2026-11-18 13:16:02
九一三事件后,黄永胜的孩子们都有什么命运?

九一三事件后,黄永胜的孩子们都有什么命运?

华人星光
2026-11-17 15:10:05
曝光东莞路边价格刺客!不少人中招!

曝光东莞路边价格刺客!不少人中招!

东莞潮事儿
2026-11-18 12:27:36
东风-61洲际导弹列装,引发岛内震动!台专家:敲打美国,管好自己安排在第一岛链上的所谓“看门狗”

东风-61洲际导弹列装,引发岛内震动!台专家:敲打美国,管好自己安排在第一岛链上的所谓“看门狗”

每日经济新闻
2026-11-18 10:28:14
金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

奇思妙想生活家
2026-11-18 04:43:33
特斯拉即将推出 2026 年度大更新,重磅新功能来了!

特斯拉即将推出 2026 年度大更新,重磅新功能来了!

XCiOS俱乐部
2026-11-17 20:45:14
2026-11-18 16:12:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
时尚
家居
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版