天才简史——Diederik P. Kingma与他的Adam优化器

一、了解Diederik P. Kingma

发生日期:2024年6月18日
前几日,与实验室同门一同前往七食堂吃饭。饭间,一位做随机优化的同门说他看过一篇被引18w+的文章。随后,我表示不信,说你不会数错了吧,能有1.8w次被引都算很好的了,大工总被引排名第二的卢湖川教授也才不到5w次。

下午等那位同门发来一看,果真18w+,太强了,这不就Adam优化器嘛,怪不得被被引这么多,机械臂方向会用到优化,机器学习会用到优化,特别是这种基础理论的文章,被引18w就不奇怪了。

在这里插入图片描述

之前看到过被引最多的一篇文章是何恺明大神的Deep Residual Learning for Image Recognition这篇文章,目前是22w+次引用,主要这年头做深度学习和人工智能的太多了。何恺明大神目前入职MIT,总被引58w余次,MIT排名第一,我估计放任何一所高校都是第一位的。

在这里插入图片描述

跑偏啦,跑偏啦。本来并未想写一篇文章介绍Kingma的,但最近看到一篇Li yanan老师发表在TII上的文章《Dynamic Motion Primitives-Based Trajectory Learning for Physical Human–Robot Interaction Force Control》,然后里面也引用了Adam: A method for stochastic optimization,这不巧了嘛,随后就查阅了Diederik P. Kingma的相关资料,一个字“强”。
在这里插入图片描述

二、Diederik P. Kingma介绍

在这里插入图片描述

1、Diederik P. Kingma履历

2018-2024:谷歌大脑/DeepMind的研究科学家。领导各种研究项目,主要是文本、图像和视频的生成模型。

2015-2018:OpenAI(旧金山)创始团队和研究科学家的一部分。领导算法团队,专注于基础研究。

2013年至2017年:阿姆斯特丹大学博士(cum laude),导师为Max Welling,研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。

2010年至2012年:Advanza的联合创始人和技术负责人,于2016年成功离职。

2009年和2012年:纽约大学研究科学家,Yann LeCun实验室。

注:a. Yann LeCun是2018年图灵奖得主
b. 阿姆斯特丹大学世界排名50左右,和上交差不多。

2、Diederik P. Kingma研究方向

机器学习的可扩展方法,重点是生成模型。代表性贡献包括变分自动编码器(VAE)、Adam优化器、Glow和变分扩散模型。

3、创业经历

Diederik P. Kingma于2015年成为OpenAI创始团队的一员。在此之前,他作为co-founder共同创立了Advanza,该公司于2016年被收购。

4、关于Kingma的名字

Kingma的正式名字是Diederik,但有一个绰号Durk(发音像Dirk)。

三、被引22+w的Adam文章

2020年:根据《Nature Index》和Google Scholar的数据,Adam optimization论文是过去五年中被引用次数最多的科学论文。

Diederik P. Kingma个人主页:http://dpkingma.com/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/31089.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【人机交互 复习】第7章 可视化设计

一、窗口界面类型 1.多文档界面 (1)优点 a.节省系统资源 b.最小的可视集 c.协同工作区 d.多文档同时可视化 (2)缺点 a.菜单随活动文档窗口状态变化,导致不一致性 b.文档窗口必须在主窗口内部,减弱多文档显…

台积电(TSMC)正在探索采用新型先进芯片封装技术

台积电(TSMC)正在探索采用新型先进芯片封装技术,使用类似面板的矩形基板,以应对日益增长的先进多芯片组处理器需求。据日经亚洲报道,这项开发仍处于早期阶段,可能需要数年时间才能商业化,但如果…

Minecraft服务端配置教程

一、下载服务端核心文件 下载 | FastMirror 无极镜像 | 我的世界核心下载 Downloads for Minecraft Forge for MinecraftForge服务端下载 MCVersions.net - Minecraft Versions Download List原版 注意,这个网站可以下载Forge水桶等插件和模组端,如果…

STM32HAL库--定时器篇

STM32F429 有14个定时器,其中包括 2 个基本定时器(TIM6 和 TIM7)、 10 个通用定时器(TIM2~TIM5,TIM9~TIM14)、 2 个高级控制定时器(TIM1 和 TIM8)。 由上表知道:除了 TIM…

视频服务网关的特点

一、视频服务网关的介绍 视频服务网关采用Linux操作系统,可支持国内外不同品牌、不同协议、不同设备类型监控产品的统一接入管理,同时提供标准的H5播放接口供其他应用平台快速对接,让您快速拥有视频集成能力。不受开发环境、跨系统跨平台等条…

数据分析思考

数据分析工作流程 在我的数据分析职业发展过程中,我从基础的数据提取工作开始,逐步深入到更为复杂和具有战略意义的领域。这包括构建和完善指标体系、设计风险预警模型,以及与多部门协作完成公司整体经营分析等工作。 在这个过程中&#xf…

Rust中的数据抓取:代理和scraper的协同工作

一、数据抓取的基本概念 数据抓取,又称网络爬虫或网页爬虫,是一种自动从互联网上提取信息的程序。这些信息可以是文本、图片、音频、视频等,用于数据分析、市场研究或内容聚合。 为什么选择Rust进行数据抓取? 性能:…

第22篇 Intel FPGA Monitor Program的使用<五>

Q:如何用Intel FPGA Monitor Program创建C语言工程并运行呢? A:总体过程与创建汇编语言工程类似,不同的是在指定程序类型时选择C Program。 后续用到DE2-115开发板的硬件如LED、SW和HEX等外设时,还需要将描述定义这些…

【机器学习】机器的登神长阶——AIGC

目录 什么是AIGC 普通用户接触AIGC网站推荐 通义千问 白马 普通用户如何用好AIGC 关键提示词的作用 AIGC的影响 就业市场: 教育领域: 创意产业: 经济活动: 社交媒体与信息传播: AIGC面临的挑战 什么是AIGC…

Vue68-路由简介

一、路由的应用:(单页面应用) 单页面应用:页面不刷新,但是路径会改变。 二、路由的原理: 2-1、多页面应用: 2-2、路由的相关概念 2-3、前端路由、后端路由 前端路由:你是什么路径…

transformers Model

☆ 问题描述 在 transformers 框架中,Model 模块是核心组件之一,提供了多种预训练模型及其相关功能,广泛应用于自然语言处理(NLP)任务。 ★ 解决方案 # 导入相关文件 from transformers import AutoConfig, AutoM…

【阅读论文】-- SWS:时空核密度可视化的复杂性优化解决方案

SWS: A Complexity-Optimized Solution for Spatial-Temporal Kernel Density Visualization 摘要1 引言2 预备知识2.1 STKDV 问题陈述2.2 基于范围查询的解决方案(RQS) 3 基于滑动窗口的解决方案(SWS)3.1 时间维度的滑动窗口3.2 …

【面试干货】throw 和 throws 的区别

【面试干货】throw 和 throws 的区别 1、throw1.1 示例 2、throws2.1 示例 3、总结 💖The Begin💖点点关注,收藏不迷路💖 在Java中,throw和throws都与异常处理紧密相关,但它们在使用和含义上有明显的区别。…

ElementPlus组件与图标按需自动引入

按需自动引入组件 1. 安装ElementPlus和自动导入ElementPlus组件的插件 pnpm install element-plus pnpm install -D unplugin-vue-components unplugin-auto-import 2. vite.config.ts进行修改 import { defineConfig } from vite import vue from vitejs/plugin-vue // …

T200S4高清4路SDI采集卡

产品简介: 同三维T200S4 4路高清SDI采集卡,可以同时采集4路SDI高清信号,卡上有4个SDI接口1个SDI环出转接口,配件有: 1个转SDI转接线,PCI-E2.0 X4,分辨率最高可以达到1080P/60HZ,带SDK开发包&am…

计算机网络:应用层 - 文件传输协议 FTP 电子邮件

计算机网络:应用层 - 文件传输协议 FTP & 电子邮件 文件传输协议 FTP电子邮件 文件传输协议 FTP 文件传送协议 FTP(File Transfer Protocol),曾是互联网祝频讲解上使用得最广泛的文件传送协议。 其特点是:若要存取一个文件,…

fastadmin中$searchFields解析

在控制器或者模型中添加这个属性: protected $searchFields goods_name,goods_brand,category.name,manystoreShop.name,goods_model; 查询sql拼接就会自携带;原理如下:

算法基础精选题单 模拟 (个人题解)

前言: 从今天开始刷牛客上的这份题单,为暑假的牛客多校集训做准备,题单上一共有237道题,要想在集训开始前刷完难度还是很大的,但我一定会坚持下来,希望在这段时间内我能真正入门算法竞赛。接下来这三道题都…

操作系统实战(一)(PV经典问题之生产者与消费者)

🌈 个人主页:十二月的猫-CSDN博客 🔥 系列专栏: 🏀操作系统 💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光 目录 前言 进程互斥与同步 题目一 题目二 题…

在SQL中使用explode函数展开数组的详细指南

目录 简介示例1:简单数组展开示例2:展开嵌套数组示例3:与其他函数结合使用处理结构体数组示例:展开包含结构体的数组示例2:展开嵌套结构体数组 总结 简介 在处理SQL中的数组数据时,explode函数非常有用。它…