一、了解Diederik P. Kingma
发生日期:2024年6月18日
前几日,与实验室同门一同前往七食堂吃饭。饭间,一位做随机优化的同门说他看过一篇被引18w+的文章。随后,我表示不信,说你不会数错了吧,能有1.8w次被引都算很好的了,大工总被引排名第二的卢湖川教授也才不到5w次。
下午等那位同门发来一看,果真18w+,太强了,这不就Adam优化器嘛,怪不得被被引这么多,机械臂方向会用到优化,机器学习会用到优化,特别是这种基础理论的文章,被引18w就不奇怪了。
之前看到过被引最多的一篇文章是何恺明大神的Deep Residual Learning for Image Recognition这篇文章,目前是22w+次引用,主要这年头做深度学习和人工智能的太多了。何恺明大神目前入职MIT,总被引58w余次,MIT排名第一,我估计放任何一所高校都是第一位的。
跑偏啦,跑偏啦。本来并未想写一篇文章介绍Kingma的,但最近看到一篇Li yanan老师发表在TII上的文章《Dynamic Motion Primitives-Based Trajectory Learning for Physical Human–Robot Interaction Force Control》,然后里面也引用了Adam: A method for stochastic optimization,这不巧了嘛,随后就查阅了Diederik P. Kingma的相关资料,一个字“强”。
二、Diederik P. Kingma介绍
1、Diederik P. Kingma履历
2018-2024:谷歌大脑/DeepMind的研究科学家。领导各种研究项目,主要是文本、图像和视频的生成模型。
2015-2018:OpenAI(旧金山)创始团队和研究科学家的一部分。领导算法团队,专注于基础研究。
2013年至2017年:阿姆斯特丹大学博士(cum laude),导师为Max Welling,研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。
2010年至2012年:Advanza的联合创始人和技术负责人,于2016年成功离职。
2009年和2012年:纽约大学研究科学家,Yann LeCun实验室。
注:a. Yann LeCun是2018年图灵奖得主
b. 阿姆斯特丹大学世界排名50左右,和上交差不多。
2、Diederik P. Kingma研究方向
机器学习的可扩展方法,重点是生成模型。代表性贡献包括变分自动编码器(VAE)、Adam优化器、Glow和变分扩散模型。
3、创业经历
Diederik P. Kingma于2015年成为OpenAI创始团队的一员。在此之前,他作为co-founder共同创立了Advanza,该公司于2016年被收购。
4、关于Kingma的名字
Kingma的正式名字是Diederik,但有一个绰号Durk(发音像Dirk)。
三、被引22+w的Adam文章
2020年:根据《Nature Index》和Google Scholar的数据,Adam optimization论文是过去五年中被引用次数最多的科学论文。
Diederik P. Kingma个人主页:http://dpkingma.com/