快来看 2024年ICLR杰出论文奖揭晓啦 值得关注

会议之眼 快讯

在人工智能的浪潮中,国际学习表征会议(ICLR)无疑是引领学术前沿的重要会议之一!ICLR是深度学习领域的顶级会议之一,由深度学习领域的两位巨头Yoshua Bengio和Yann LeCun于2013年创办。

2024年5月6日,官网宣布了ICLR的杰出论文奖和荣誉提名论文,吸引了众多学者的目光,今天我们一起来看看这些优秀的研究成果吧!

b9d2d9fcf90a7743dd313c1d1af35af5.jpeg

评审委员会

本次大会由Eunsol Choi, Katja Hofmann, Ming-Yu Liu, Nan Jiang, Stephan Günnemann, Suvrit Sra, Thomas Kipf, 和 Volkan Cevher组成的奖项委员会负责评选。

奖项类别

杰出论文奖(Outstanding Paper winners):共5篇

荣誉提名(Honorable Mentions):共11篇

ICLR 2024杰出论文奖获奖论文

1、Generalization in diffusion models arises from geometry-adaptive harmonic representations

作者: Zahra Kadkhodaie, Florentin Guth, Eero P Simoncelli, Stéphane Mallat

简介: 这篇论文深入分析了图像扩散模型的泛化和记忆方面。作者通过实证研究了图像生成模型从记忆输入转向泛化机制的条件,并提出了一种解释这种现象的方法,即通过“几何自适应谐波表示”将模型结构归纳偏差与谐波分析理论联系起来。这项工作填补了我们对视觉生成模型理解的重要空白,并可能激励未来在这一领域的重要理论工作。

2、Learning Interactive Real-World Simulators

作者: Sherry Yang, Yilun Du, Seyed Kamyar Seyed Ghasemipour, Jonathan Tompson, Leslie Pack Kaelbling, Dale Schuurmans, Pieter Abbeel

简介: 这篇论文介绍了UniSim项目,这是一个在多源数据聚合方面的重要步骤,旨在训练用于机器人学的基础模型。该工作通过利用视觉和语言领域最新的进展,基于视觉感知和控制文本描述的统一接口来聚合数据,并训练机器人模拟器,是一个工程壮举。

3、Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

作者: Ido Amos, Jonathan Berant, Ankit Gupta

简介: 论文深入探讨了最近提出的状态空间模型和变换器架构对长期序列依赖性的建模能力。作者意外地发现,从头开始训练变换器模型会导致对其性能的低估,并展示了通过预训练和微调设置可以实现显著的性能提升。这篇论文执行得非常出色,并以其对简单性和系统性洞察的专注而脱颖而出。

4、Protein Discovery with Discrete Walk-Jump Sampling

作者: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

简介: 这篇论文针对基于序列的抗体设计问题,这是一个对蛋白质序列生成模型而言既及时又重要的应用。作者介绍了一种创新而有效的新建模方法,专门针对处理离散蛋白质序列数据的问题。除了在硅片上验证该方法外,作者还进行了广泛的湿实验室实验,以测量抗体的体外结合亲和力,证明了他们生成方法的有效性。

5、Vision Transformers Need Registers

作者: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

简介: 论文识别了视觉变换器网络特征图中的人工特征,这些特征表现为低信息背景区域中的高范数标记。作者为这一现象提供了关键的假设,并提供了一个简单而优雅的解决方案,即使用额外的寄存器标记来解决这些人工特征,增强了模型在各种任务。

7a73e819e88486f672190b411a05441f.jpeg

荣誉提名论文

1、Amortizing intractable inference in large language models

作者: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Nikolay Malkin

简介: 提出了一种从贝叶斯推断角度出发的大型语言模型(LLMs)自回归解码的替代方法,这种方法可能会激发后续研究。

2、Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

作者: Ian Gemp, Luke Marris, Georgios Piliouras

简介: 一篇写作非常清晰的论文,针对开发高效且可扩展的纳什均衡求解器这一重要问题取得了进展。

3、Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

作者: Bohang Zhang, Jingchu Gai, Yiheng Du, Qiwei Ye, Di He, Liwei Wang

简介: 提出了一种新的基于同态计数的“表达性理论”,以解决当前图神经网络(GNNs)表达性解决方案(如Weisfeiler-Lehman测试)存在的局限性。

4、Flow Matching on General Geometries

作者: Ricky T. Q. Chen, Yaron Lipman

简介: 论文解决了在一般几何流形上进行生成建模的挑战性问题,提出了一种实用且高效的算法,并在广泛的任务上进行了全面的实验验证。

5、Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

作者: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis

简介: 提出了一种自监督图像预训练的新方法,通过从连续视频中学习,论文不仅贡献了新类型的数据,还提供了一种从新数据中学习的方法。

6、Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

作者: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, Ying Wei

简介: 作者提出了一种新的元连续学习方差减少方法,这种方法不仅具有实际影响,而且通过遗憾分析得到了支持。

7、Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

作者: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao

简介: 针对基于变换器的LLMs的关键KV缓存压缩问题,提出了一种简单有效的方法,可以不经过资源密集的微调或重新训练即可部署。

8、Proving Test Set Contamination in Black-Box Language Models

作者: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto

简介: 提出了一种简单而优雅的测试方法,用以检验监督学习数据集是否包含在LLM训练中。

9、Robust agents learn causal world models

作者: Jonathan Richens, Tom Everitt

简介: 论文在理论上为理解因果推理在代理推广到新领域中的作用奠定了基础,可能对相关领域产生影响。

10、The mechanistic basis of data dependence and abrupt learning in an in-context classification task

作者: Gautam Reddy

简介: 对在上下文分类任务中数据依赖性和学习骤变的机理进行了及时且系统的研究。

11、Towards a statistical theory of data selection under weak supervision

作者: Germain Kolossov, Andrea Montanari, Pulkit Tandon

简介: 论文为弱监督下的数据子集选择建立了统计基础,并指出了流行数据选择方法的不足。

c51add0f8b39feb11717ff36abe0b448.jpeg

ICLR的这些杰出论文和荣誉提名,不仅是对作者们辛勤工作的肯定,更是对整个AI领域的一次激励。它们代表了人工智能最前沿的研究方向,预示着未来技术发展的趋势。让我们向这些创新者致敬,期待他们为人类社会带来更多的惊喜和变革!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/8542.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

NSSCTF中的web

目录 [第五空间 2021]WebFTP [LitCTF 2023]PHP是世界上最好的语言!! [SWPUCTF 2021 新生赛]PseudoProtocols [LitCTF 2023]导弹迷踪 [NISACTF 2022]easyssrf [第五空间 2021]WebFTP 1.进入页面,发现是登录页面,想到 弱口令&…

大模型微调之 在亚马逊AWS上实战LlaMA案例(六)

大模型微调之 在亚马逊AWS上实战LlaMA案例(六) 通过 SageMaker Python SDK 进行微调Llama2 可以使用 SageMaker Python SDK 微调 Llama 2 模型。以下是在数据集上微调 Llama 2 7B 的示例代码: import os import boto3 from sagemaker.sessi…

28 JavaScript学习: 代码规范

代码规范通常包括以下几个方面: 变量和函数的命名规则空格,缩进,注释的使用规则。其他常用规范…… 变量名 在编写JavaScript代码时,遵守良好的变量命名规范是非常重要的,这可以增加代码的可读性和可维护性。以下是一些常见的…

iOS ------ 内存五大分区

1,内存的概念: 虚拟内存(Virtual Memory):虚拟内存是操作系统提供的一种机制,它使得应用程序能够访问超出物理内存限制的内存空间。虚拟内存将应用程序的内存地址空间分割成固定大小的页面(Pag…

路由策略与路由控制

1.路由控制工具 匹配工具1:访问控制列表 (1)通配符 当进行IP地址匹配的时候,后面会跟着32位掩码位,这32位称为通配符。 通配符,也是点分十进制格式,换算成二进制后,“0”表示“匹配…

【软考】模拟考卷错题本2024-05-07

1 项目路径 这里的图没有加载出来,没u哦i关系了。其实主要是的算出最长的路径中包含那些元素即可。这里是蒙圈了,没有考虑到还有更长的。要顾头也顾尾。 2 算法分析-贪心 该问题主要考核的是算法设计策略来达到目标的方式。主要的设计策略有:…

Linux变量的认识及环境变量配置详解

文章目录 1、变量的划分2、局部变量3、全局变量4、环境变量4.1、概述4.2、配置临时环境变量4.3、配置永久环境变量4.3.1、用户级配置文件1)配置方法一:~/.bashrc文件2)配置方法二:~/.profile文件3)配置方法三&#xff…

CTF-reverse二维四向迷宫路径求解

二维四向迷宫是一个re中的常考点,说不上难,但也不简单,本篇记录了常规的二维四向迷宫解题套路以及帮助快速解题的脚本 可能你看我的教程会觉得十分繁琐,但实际只要你用了一次熟练之后,基本都是拿到迷宫就一题一分钟解决…

jmeter控制器讲解

1,随机顺序控制器和随机控制器的区别:随机顺序控制器下所有的接口都会执行,只是执行顺序是随机的,随机控制器下所有的接口中随机执行一个接口,其余接口不执行。

【跨境商家必读】TikTok Shop商城运营全指南

随着社交媒体和电子商务之间界限的日益模糊,一种全新的购物平台——TikTok商城,正在迅速成为全球跨境商家们关注的焦点。在这个竞争激烈的TikTok跨境电商领域中,了解如何有效利用TikTok Shop的各项功能,理解其独特的运营模式&…

Linux进程——Linux进程间切换与命令行参数

前言:在上一篇了解完进程状态后,我们简单了解了进程优先级,然后遗留了一点内容,本篇我们就来研究进程间的切换,来理解上篇提到的并发。如果对进程优先级还有没理解的地方可以先阅读: Linux进程优先级 本篇…

Gmail邮箱怎么注册?2024年完整指南(包含跳过手机号验证)

一、为什么要注册Gmail邮箱? 全球通用性:Gmail是一个全球性的邮件服务平台,被广泛认可和信赖。因为客户对于Gmail的接受度高,无需担心邮件被自动标记为垃圾邮件。 整合营销工具:通过Gmail账号,你可以轻松…

C++之大数运算

溪云初起日沉阁 山雨欲来风满楼 契子✨ 我们知道数据类型皆有范围,一旦超出了这个范围就会造成溢出问题 今天说说我们常见的数据类型范围: 我们平时写代码也会遇到数据类型范围溢出问题: 比如 ~ 我们之前写的学生管理系统在用 int类型 填写…

stack的使用

1.栈的定义 我们可以看到模板参数里面有一个容器适配器 ,什么是适配器?比如充电器就叫做电源适配器,用在做转换,对电压进行相关的转换适配我们的设备。栈,队列不是自己直接管理数据,是让其他容器管理数据&a…

java-函数式编程-语法

目录 1、函数表现形式 分类 lambda表达式 参数类型可以全写,也可以全不写,但不能一部分写,一部分不写lambda 的省略策略:凡是可推导,都可以省略 方法引用 练习-判断语法正确性 练习-写出与方法引用等价的lambda表达式…

新火种AI|马斯克聘用OpenAI泄密者,他们的梁子着实越结越深...

作者:小岩 编辑:彩云 就在最近,昔日就职于OpenAI的工程师Pavel Izmailov正式加入了马斯克的AI团队,他还在自己的推特上大张旗鼓的做着宣传:研究院xai。 AI工程师的跳槽本不值得惊讶,但Pavel的跳槽却在行…

LSTM神经网络 vs Transformer在量化中的应用

LSTM,全称Long Short-Term Memory,是一种特殊的递归神经网络。它通过巧妙的"门"结构,可以有效地捕捉时间序列数据中的长期依赖关系。这一特点,使得LSTM在处理股价这种具有时间序列特性的数据时,展现出了非凡的潜力。 这种特殊的递归神经网络 与一般的前馈神经网络不…

C++语法|如何写出高效的C++代码(一)|对象使用过程中背后调用了哪些方法(构造和析构过程)?

文章目录 再探拷贝构造函数和重载复制运算符实例化新对象和赋值操作强转为类类型指针和引用时临时对象的构造和析构过程 考考你问题答案 再探拷贝构造函数和重载复制运算符 实例化新对象和赋值操作 首先我们写一个类,实现它的拷贝构造并重载赋值运算符。 class T…

盘点四种计算数组中元素值为1的个数的方法

目录 一、引言 二、方法一:基础循环遍历 三、方法二:列表推导式 四、方法三:使用内置函数sum和生成器表达式 五、方法四:使用NumPy库 六、性能比较 七、性能结果分析与讨论 八、最佳实践 九、总结 一、引言 在编程和数…

银河麒麟QT项目打包详细教程

银河麒麟QT项目打包详细教程 一、QT项目打包 下载linuxdeployqt,下载地址:https://github.com/probonopd/linuxdeployqt/releases 安装Linuxdeployqt 2.1 为了安装方便,将下载下来的文件名称改短些 mv linuxdeployqt-6-x86_64.AppImage lin…