谷歌Dreamer大神离职！「辛顿徒弟」自曝错过Transformer

[db:作者]

编辑：元宇
【新智元导读】谷歌天下模子大牛Danijar Hafner公布离职！他自2016年起起头在Google Brain练习，后又在DeepMind、Brain Team工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。他的履历颇具传奇色彩，曾获辛顿指导，还与Łukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

刚刚，「Dreamer」大神Danijar Hafner，公布分开他曾工作近十年的谷歌这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
离职前Danijar担任Google DeepMind旧金山分部的资深研讨科学家（Staff Research Scientist）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
他的研讨方针是「构建可以了解天下并与天下互动的通用智能体」这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
作为谷歌天下模子大牛，Danijar曾主导/结合主导了Dreamer系列（Dreamer、DreamerV3、Dreamer4 等）的开辟这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Danijar Hafner
他在推文中写道：「明天是我在DeepMind的最初一天」这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

回首了在Google和DeepMind快要10年的工作履历，Danijar以为「一个重要的篇章走到了尽头」这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
Danijar在谷歌的早期履历，多是以研讨员的身份介入谷歌研讨院、DeepMind、Brain Team等团队的工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
从他的教育履历中，也能清楚看出他的职业成长轨迹这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

从2016年起，他就起头介入Brain团队的练习这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
据Danijar回忆，2016年他第一次在山景城介入谷歌Brain团队的练习，与James Davidson以及Vincent Vanhoucke一路同事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
由于那时髦无可运转的PPO实现，团队就在TensorFlow的静态图框架下停止调试和尝试这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
2017-2018年，Danijar在伦敦大学读硕士，时代他就在伦敦的DeepMind工作；
2018-2023年，Danijar在多伦多大学读博士，是以他就在多伦多的Brain Team工作了相当长一段时候这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
他与该团队另一位资深研讨科学家Mohammad Norouzi配合开辟了多个版本的Dreamer这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

初识Transformer
但「并未在意」
Danijar还记得Łukasz Kaiser第一次向他们展现一个由「大型」LSTM 天生的维基百科页面时的情形这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Łukasz Kaiser
Łukasz是一位机械进修研讨员，他最初在Google Brain团队工作，后来加入OpenAI这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
Google Brain团队曾于2018年颁发《Generating Wikipedia by Summarizing Long Sequences》，Łukasz Kaiser是作者之一，主题就是端到端天生维基百科条目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com
Danijar还提到他「错过」Transformer的一段插曲这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
那时，Ashish Vaswani已经兴奋地向他先容一种新架构在计较效力上的上风，并倡议他将其利用在强化进修上，但那时Danijar却并未在意（我那时没试）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
后来这类架构被命名为Transformer这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Ashish Vaswani

https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com
Ashish Vaswani是一位在AI范畴颇具影响力的科学家与创业者这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
他是Essential AI的结合开创人，但更加人熟知的是介入提出了那篇著名的《Attention Is All You Need》的开创性论文这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
该论文提出了一种「完全摒弃循环和卷积结构，仅用留意力机制」的全新简单收集架构Transformer，可以实现更强的并行性和更快的练习速度这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
前面提到的Łukasz Kaiser也是这篇开创性论文的首要作者之一这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


深度进修研讨

2017-2018年，Danijar在伦敦大学攻读硕士这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这段时候他在伦敦的DeepMind工作，有机遇介入到深度强化进修和天生式模子的研讨，并与Timothy Lillicrap（DeepMind）以及Ian Fischer（Google Research）合作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这段履历促进了他们配合完成了PlaNet（一种基于模子的强化进修算法，能从像素观察进修潜伏天下模子，并在潜空间中停止计划与行动挑选）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Timothy Lillicrap
随后，Danijar与Nicolas Heess、DeepMind的Adaptive Agents团队持久交换，系统梳理并理论Karl Friston的自在能道理（Free Energy Principle, FEP）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


开辟Dreamer
曾获辛顿指导
2018-2023年，Danijar在多伦多大学读博士，这段期间他还在加州大学伯克利分校以结合培育博士生的身份展开研讨这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在多伦多大学读博时代，Danijar的首要导师是Jimmy Ba，同时还获得了辛顿（Jeffrey Hinton）的指导这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在此时代，Danijar还在多伦多的Brain Team工作了相当长一段时候这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Mohammad Norouzi
他与Google Brain多伦多分部的资深研讨科学家Mohammad Norouzi配合开辟了多个版本的Dreamer这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
他们介入各类合作项目，还一路庆贺了辛顿获得获得图灵奖的时辰这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

2018年的图灵奖授与Yoshua Bengio、Geoffrey Hinton和Yann LeCun
曩昔几年，Danijar一向在伯克利和旧金山之间，与Wilson Yan合作深入研讨天下模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在Count Zero和Koray Kavukcuoglu的大力支持下，他得以充实操纵顶级的算力与资本，鞭策了一系列前沿摸索这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
从Dreamer到DreamerV3，再到可以在设想中自立进修、甚至在纯离线情况下完成复杂使命的Dreamer4，这一系列功效令Danijar冲动这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在Danijar的小我官网主页上，他的小我愿景非常夺目：「构建可以自立办解天下并与天下互动的智能机械这标志着福建舰的电磁弹射和阻止接管才能根基成型了。」

对他而言，天下模子不可是技术冲破，更是了解智能本质的一扇窗口这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
现在，Danijar行将竣事他在Google/DeepMind的十年旅程，带着复杂的心情和满怀期待，驱逐新的篇章这标志着福建舰的电磁弹射和阻止接管才能根基成型了。