网易首页 > 网易号 > 正文 申请入驻

谷歌Dreamer大神离职!「辛顿门徒」自曝错过Transformer

0
分享至

新智元报道

编辑:元宇

【新智元导读】谷歌世界模型大牛Danijar Hafner宣布离任!他自2016年起开始在Google Brain实习,后又在DeepMind、Brain Team工作。他的经历颇具传奇色彩,曾获辛顿指导,还与Łukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集。

刚刚,「Dreamer」大神Danijar Hafner,宣布离开他曾工作近十年的谷歌。

离职前Danijar担任Google DeepMind旧金山分部的资深研究科学家(Staff Research Scientist)。

他的研究目标是「构建能够理解世界并与世界互动的通用智能体」。

作为谷歌世界模型大牛,Danijar曾主导/联合主导了Dreamer系列(Dreamer、DreamerV3、Dreamer4 等)的开发。

Danijar Hafner

他在推文中写道:「今天是我在DeepMind的最后一天」。

回顾了在Google和DeepMind将近10年的工作经历,Danijar认为「一个重要的篇章走到了终点」。

Danijar在谷歌的早期经历,多是以研究员的身份参与谷歌研究院、DeepMind、Brain Team等团队的工作。

从他的教育经历中,也能清晰看出他的职业发展轨迹。

从2016年起,他就开始参与Brain团队的实习。

据Danijar回忆,2016年他第一次在山景城参与谷歌Brain团队的实习,与James Davidson以及Vincent Vanhoucke一起共事。

因为当时尚无可运行的PPO实现,团队就在TensorFlow的静态图框架下进行调试和实验。

2017-2018年,Danijar在伦敦大学读硕士,期间他就在伦敦的DeepMind工作;

2018-2023年,Danijar在多伦多大学读博士,因此他就在多伦多的Brain Team工作了相当长一段时间。

他与该团队另一位资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。

初识Transformer

但「并未在意」

Danijar还记得Łukasz Kaiser第一次向他们展示一个由「大型」LSTM 生成的维基百科页面时的情形。

Łukasz Kaiser

Łukasz是一位机器学习研究员,他最初在Google Brain团队工作,后来加入OpenAI。

Google Brain团队曾于2018年发表《Generating Wikipedia by Summarizing Long Sequences》,Łukasz Kaiser是作者之一,主题就是端到端生成维基百科条目。

https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com

Danijar还提到他「错过」Transformer的一段插曲。

当时,Ashish Vaswani曾经兴奋地向他介绍一种新架构在计算效率上的优势,并建议他将其应用在强化学习上,但那时Danijar却并未在意(我当时没试)。

后来这种架构被命名为Transformer。

Ashish Vaswani

https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com

Ashish Vaswani是一位在AI领域颇具影响力的科学家与创业者。

他是Essential AI的联合创始人,但更为人熟知的是参与提出了那篇著名的《Attention Is All You Need》的开创性论文。

该论文提出了一种「彻底摒弃循环和卷积结构,仅用注意力机制」的全新简单网络架构Transformer,可以实现更强的并行性和更快的训练速度。

前面提到的Łukasz Kaiser也是这篇开创性论文的主要作者之一。

深度学习研究

2017-2018年,Danijar在伦敦大学攻读硕士。

这段时间他在伦敦的DeepMind工作,有机会参与到深度强化学习和生成式模型的研究,并与Timothy Lillicrap(DeepMind)以及Ian Fischer(Google Research)合作。

这段经历促成了他们共同完成了PlaNet(一种基于模型的强化学习算法,能从像素观测学习潜在世界模型,并在潜空间中进行规划与动作选择)。

Timothy Lillicrap

随后,Danijar与Nicolas Heess、DeepMind的Adaptive Agents团队长期交流,系统梳理并实践Karl Friston的自由能原理(Free Energy Principle, FEP)。

开发Dreamer

曾获辛顿指导

2018-2023年,Danijar在多伦多大学读博士,这段时期他还在加州大学伯克利分校以联合培养博士生的身份开展研究。

在多伦多大学读博期间,Danijar的主要导师是Jimmy Ba,同时还获得了辛顿(Jeffrey Hinton)的指导。

在此期间,Danijar还在多伦多的Brain Team工作了相当长一段时间。

Mohammad Norouzi

他与Google Brain多伦多分部的资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。

他们参与各种合作项目,还一起庆祝了辛顿获得获得图灵奖的时刻。

2018年的图灵奖授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun

过去几年,Danijar一直在伯克利和旧金山之间,与Wilson Yan合作深入研究世界模型。

在Count Zero和Koray Kavukcuoglu的大力支持下,他得以充分利用顶级的算力与资源,推动了一系列前沿探索。

从Dreamer到DreamerV3,再到能够在想象中自主学习、甚至在纯离线环境下完成复杂任务的Dreamer4,这一系列成果令Danijar激动。

在Danijar的个人官网主页上,他的个人愿景十分醒目:「构建能够自主理解世界并与世界互动的智能机器。」

对他而言,世界模型不仅是技术突破,更是理解智能本质的一扇窗口。

如今,Danijar即将结束他在Google/DeepMind的十年旅程,带着复杂的心情和满怀期待,迎接新的篇章。

参考资料:

https://x.com/danijarh/status/1985436821405516031%20

https://danijar.com/?utm_source=chatgpt.com

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

大风新闻
2026-11-18 14:36:05
刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

娱乐嗑学家.
2026-11-18 09:39:43
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

坠入二次元的海洋
2026-11-19 05:00:42
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
真正的思念,总是会无声无息的

真正的思念,总是会无声无息的

疾跑的小蜗牛
2026-11-18 21:04:36
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

喵喵娱乐团
2026-11-18 20:50:49
“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

蝴蝶花雨话教育
2026-11-19 06:46:57
渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

球事百科吖
2026-11-18 06:35:06
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

火山詩话
2026-11-18 07:25:09
中央机关公务员工资,到手大概多少?

中央机关公务员工资,到手大概多少?

网观天下
2026-11-19 07:31:36
2026-11-19 08:24:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16713文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
教育
健康
本地
公开课

看来看去裤子还是没必要买太多,准备一条黑色长裤,实用又百搭

教育要闻

今年的秋假结束了,今晚!南京又要有多少娃熬夜通宵了?

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版