EMNLP 2023 获奖论文公布,大模型、NLP等领域火爆

EMNLP是计算语言学和自然语言处理领域顶级国际会议之一,属于CCF B类,是由 ACL 下属的SIGDAT小组主办的NLP领域顶级国际会议,一年举办一次。相较于ACL,EMNLP更偏向于NLP在各个领域解决方案的学术探讨。

今年的EMNLP 2023 已于2023年12 月 6 日 - 10 日在新加坡举行。本次大会公布了最佳长论文奖、最佳短论文奖、杰出论文奖、最佳Demo奖等奖项,包含了今年爆火的ChatGPT 大模型、NLP 概念领域。

我这次帮大家整理了今年EMNLP 2023的获奖论文,并且做了简单的介绍,原文及源码需要的同学看文末

最佳长论文

标题:Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

一种理解上下文学习的信息流视角

作者:Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun

「简述:」论文在信息流视角下探讨了大型语言模型(LLMs)的上下文学习(ICL)机制。研究结果表明,演示示例中的标签词作为锚点,在浅层计算层处理过程中,语义信息聚集到标签词表示中;标签词中整合的信息作为LLMs最终预测的参考。基于这些发现,作者引入了一种锚点重新加权方法来提高ICL性能,一种演示压缩技术来加快推理,以及一种用于诊断GPT2-XL中ICL错误的框架。这些有希望的应用再次验证了未被发现的ICL工作机制,并为未来的研究铺平了道路。

最佳短论文

标题:Faster Minimum Bayes Risk Decoding with Confidence-based Pruning

基于置信度剪枝的更快最小贝叶斯风险解码

作者:Julius Cheng, Andreas Vlachos

「简述:」对于某些效用函数来说,最小贝叶斯风险(MBR)解码器会输出模型分布中期望效用最高的假设。据显示,与束搜索相比,它在条件语言生成问题中提高了准确性,特别是在神经机器翻译中、在人类和自动评估中都是如此。然而,标准采样算法对于MBR的计算量要远大于束搜索,需要大量的样本以及二次调用效用函数,限制了其适用性。本文描述了一种MBR算法,该算法在逐步增加用于估计效用的样本数量的同时,根据Bootstrap抽样获得的置信度估计修剪不太可能有最高效用的假设。

杰出论文奖

标题:Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents

作为重新排名代理调查大型语言模型

作者:Weiwei Sun, I ingyong Yan, Xinyu Ma, Shuaiqiang Wang, Pengjie Ren, Zbumin Chen, Dawei Yin,Zhaochun Ren

「简述:」ChatGPT等大型语言模型在各种语言相关任务中表现出色,包括搜索引擎。它们不仅可以生成文本,还可以进行信息检索和段落排名。本文首先调查生成式LLM(如ChatGPT和GPT-4)在IR中的相关性排名,在适当的指导下,这些模型甚至可以在流行的信息检索基准上提供与最新监督方法相当甚至更好的结果。此外,为了解决数据污染问题,作者收集了一个新的测试集,以验证模型对未知知识的排名能力。最后,作者提出了一种方法,通过使用排列消融方案,将大型语言模型的排序能力精简为小型专业模型,以提高实际应用的效率。这些小型模型在BEIR基准上的性能优于更大的监督模型。

标题:SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization

百万级对话蒸馏与社交常识情境化

作者:Hyunwoo Kim, Jack Hessel, Liwei Jiang, Peter West, Ximing Lu, Youngjae Yu, Pei Zbou,Ronan Le Bras, Malibe Alikhani, Gunbee Kim, Maarten Sap, Yejin Choi

「简述:」SODA是一个公开的百万级高质量社交对话数据集,解决了开放领域社交对话数据稀缺的问题。它使用知识图谱获取社交常识知识,并从大型语言模型中提取广泛的社会互动。与以前的数据集相比,SODA中的对话更一致、更具体、更自然。使用SODA,作者训练了COSMO,一个可泛化的对话模型,在未观察到的数据集上比表现最佳的对话模型更自然、更一致。实验表明,COSMO有时甚至比原始人类编写的金标准响应更受欢迎。

标题:LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers

一种结合语言模型和一阶逻辑证明器进行逻辑推理的神经符号方法

作者:Theo X. Olausson, Alex Gu, Ben Lipkin, Cedeao E. Zhang Armando Solar-Lezama,Joshua B. Tenenbaum, Roger P. Levy

「简述:」LINC是一种用于逻辑推理的将语言模型与一阶逻辑证明相结合的神经符号方法。这种方法将逻辑推理任务重新表述为模块化神经符号编程,使大型语言模型能够更有效地进行这种推理。通过将自然语言翻译成一阶逻辑表达式,并使用外部定理证明器进行演绎推理,LINC在FOLIO和ProofWriter等数据集上取得了显著的性能提升。与GPT-3.5和GPT-4的思维链提示相比,LINC在ProofWriter上的得分高出38%和10%。这种方法的结合使用LLM和符号证明器可以解决自然语言逻辑推理的问题。

最佳论文 Demo

标题:PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents

用于处理、表示和操作视觉丰富的科学文献的统一工具包

作者:Kyle Lo, Zejiang Shen, Benjamin Newman, Joseph Chee Chang, Russell Authur, Erin Bransom, Stefan Candra, Yoganand Chandrasekhar, Regan Huff, Bailey Kuehl, Amanpreet Singh, Chris Wilhelm, Angele Zamarron, Marti A. Hearst, Daniel S. Weld, Doug Downey, Luca Soldaini

「简述:」尽管自然语言处理(NLP)和计算机视觉(CV)模型在学术领域的应用越来越受到关注,但科学文献仍然具有挑战性。它们通常以难以使用的PDF格式存在,并且用于处理它们的模型生态系统是分散和不完整的。作者介绍了PaperMage,一个用于处理和操作视觉丰富、结构化的科学文档的开源Python工具包。它整合了最先进的NLP和CV模型,提供了一站式解决方案,简化了文本和视觉文档元素的表示和操作。PaperMage已经为多个研究原型的人工智能应用程序提供了动力,并被用于处理数百万个PDFs的大规模生产系统。

最佳主题论文

标题:Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition

通过全球规模的提示黑客竞赛暴露LLM的系统漏洞

作者:Sander Schulhoff,Jeremy Pinto,Anaum Khan,Louis-François Bouchard,Chenglei Si,Svetlina Anati,Valen Tagliabue,Anson Kost,Christopher Carnahan,Jordan Boyd-Graber

「简述:」大型语言模型越来越常被用在和用户直接交流的场景中,比如聊天机器人和写作助手。但是,这些模型很容易受到提示注入和越狱等攻击,即黑客操纵模型忽略原有指令,执行恶意指令。为了解决这个问题,作者发起了一个全球范围的提示黑客攻击比赛,收集了大量针对最先进LLM的攻击性提示。我们发现,这些模型确实可以被黑客操纵。作者还建立了一个全面的本体类型,描述各种攻击性提示。

最佳行业论文

标题:Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems

基于全局索引的语音对话系统中的个性化密集检索

作者:Masha Belyi, Charlotte Dzialo, Chaitanya Dwivedi,Prajit Reddy Muppidi, Kanna Shimizu

「简述:」论文提出了一种新的方法,用于改进语音控制的AI对话系统中的实体检索。这种方法可以抵抗语音变化和实体解析不清的干扰。它不局限于根据用户历史交互构建的个性化索引,而是将用户的收听偏好嵌入到检索中使用的上下文查询嵌入中。这使得模型能够更准确地预测实体,并且在实体检索任务上的表现比基线提高了91%。此外,作者还优化了这种方法,使其适应在线延迟的约束,同时保持性能的提升。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“EMNLP获奖”获取全部论文+开源代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/214132.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

table表格table/tr/td宽度和高度的设置

关于html中table表格tr,td的⾼度和宽度 做⽹页的时候经常会遇到各种各样的问题,经常遇到的⼀个就是会碰到表格被内容撑开的问题。 设置table样式为 table-layout: fixed; 宽度可以了,但是高度会被撑高。怎么设置都不行,只能给这个td标签单独…

【Linux】 线程池

线程池 什么是线程池? 一次预先申请一批线程,让这批线程有任务,就处理任务;没任务,就处于等待状态。 为什么要有线程池? 以空间换时间,预先申请一批线程,当有任务到来,可…

将rtsp视频流发送到AWS Kinesis Video Streams的方案——使用Gstreamer(C++) Command Line

大纲 1 创建Kinesis Video Streams1.1 创建视频流1.2 记录Creation Time 2 创建策略2.1 赋予权限2.2 限制资源2.3 Json格式描述(或上面手工设置)2.4 注意事项 3 创建IAM用户3.1 生成密钥对3.2 附加策略3.3 记录访问密钥对 4 编译C 创建者库5 发送6 检查参…

JavaScript <关于逆向RSA非对称加密算法的案例(代码剖析篇)>--案例(五点一)

引用上文: CSDNhttps://mp.csdn.net/mp_blog/creation/editor/134857857 剖析: var bitsPerDigit16; // 每个数组元素可以表示的二进制位数// 数组复制函数,将源数组部分复制到目标数组的指定位置 function arrayCopy(src, srcStart, dest, destStart, n) {var m…

国内地址地区智能解析,无需完整地址也能正确匹配

页面直接引入使用 已打包成单文件dist/bundle.js 可以直接通过标签引用 <script src="./bundle.js"></script> <script>var results = AddressParse.parse(福建省福州市福清市石竹街道义明综合楼3F,15000000000,asseek);console.log(results);…

OD机考真题搜集:服务失效判断

题目 某系统中有众多服务,每个服务用字符串(只包含字母和数字,长度<=10)唯一标识,服务间可能有依赖关系,如A依赖B,则当B故障时导致A也故障。 依赖具有传递性,如A依赖B,B依赖C,当C故障时导致B故障,也导致A故障。 给出所有依赖关系,以及当前已知故障服务,要求输…

git提交代码报错Git: husky > pre-commit

目录 git提交代码报错原因解决方法&#xff08;三种&#xff09;1、第一种2、第二种3、第三种 git提交代码报错原因 这个问题是因为当你在终端输入git commit -m “XXX”,提交代码的时候,pre-commit(客户端)钩子&#xff0c;它会在Git键入提交信息前运行做代码风格检查。如果代…

Kotlin 中密封类、枚举类与密封接口的对比分析

在 Kotlin 编程语言中&#xff0c;密封类&#xff08;Sealed Classes&#xff09;、枚举类&#xff08;Enum Classes&#xff09;和密封接口&#xff08;Sealed Interfaces&#xff09;是处理一组固定类型的强大工具。它们在 Kotlin 中扮演着特殊的角色&#xff0c;特别是在创建…

【小白专用】MySQL创建数据库和创建数据表

1.在Windows开始搜索输入Mysql,并选择第一个打开。 2.输入安装时的密码 3.说明安装成功。 二、创建数据库 1. 连接 MySQL 输入 mysql -u root -p 命令&#xff0c;回车&#xff0c;然后输入 MySQL 的密码(不要忘记了密码)&#xff0c;再回车&#xff0c;就连接上 MySQL 了。 …

数据库常用锁

数据库锁是一种用于管理并发访问的机制&#xff0c;以确保数据的一致性和完整性。在并发访问的情况下&#xff0c;多个事务可能同时尝试访问相同的数据&#xff0c;而数据库锁能够协调这些访问&#xff0c;防止数据不一致的问题。以下是一些常见的数据库锁及其详细解释&#xf…

C语言-统计素数并求和

本题要求统计给定整数M和N区间内素数的个数并对它们求和。 输入格式: 输入在一行中给出两个正整数M和N&#xff08;1≤M≤N≤500&#xff09;。 输出格式: 在一行中顺序输出M和N区间内素数的个数以及它们的和&#xff0c;数字间以空格分隔。 输入样例: 10 31输出样例: 7…

深入Redis过程-持久化

目录 redis实现持久化 RDB 触发机制-定期方法 定期-手动触发 save bgsave 定期-自动触发 AOF 开启AOF功能 刷新缓冲区策略 重写机制 混合持久化 Redis事务 事务相关的命令 MULTI EXEC DISCARD WATCH redis实现持久化 RDB RDB叫做Redis数据备份文件&#xf…

强大的公式编辑器 —— MathType最新版本安装与使用

强大的公式编辑器 —— MathType最新版本安装与使用 由于使用了很长时间的机械硬盘出现坏道&#xff0c;安装在其中的MathType6.9&#xff08;精简版&#xff09;也没办法使用了&#xff0c;本来想安装个高版本的MathType&#xff0c;比如MathType7.4&#xff0c;但在网上苦苦…

如何更改Jupyter Notebook中的环境?

1.首先&#xff0c;打开终端 2.接着&#xff0c;分别输入以下命令 conda env list 把EXPose替换为自己的环境变量 conda activate EXPose 3.接下来安装‘ ipykernel ’软件包 conda install ipykernel 4. 将该环境添加到Jupyter Notebook中&#xff1b;在Jupyter Notebook…

HTB Surveillance

Surveillance 2023年12月10日 12:13:35User nmap Starting Nmap 7.80 ( https://nmap.org ) at 2023-12-10 12:15 CST Stats: 0:00:37 elapsed; 0 hosts completed (1 up), 1 undergoing Connect Scan Connect Scan Timing: About 59.83% done

小白第一次开私服怎么吸引玩家

大家好&#xff0c;我是咕噜-凯撒&#xff0c;在现在这个网络社会很多人为了放松一下会选择打打游戏&#xff0c;私服也就成为了许多玩家为了寻找新鲜体验的热门选择&#xff0c;很多小白就发现了这个契机但是吸引玩家加入自己的服务器也就成了一个比较头疼的问题&#xff0c;下…

Wrong number of values of control parameter 2(Halcon 错误代码:1402)

threshold (ImageReduced1, Region, 0,min2(75,Min)) 程序运行到这一句&#xff0c;出现错误 原因是其中的参数Min为空数组 解决方案&#xff1a;判断了下可以输出Min的区域是否存在&#xff0c;不存在跳过这一步。

八叉树bt文件转为grid文件的代码及编译流程

目的 点云文件转为八叉树文件 代码 在一个文件夹中新建两个文件&#xff0c;pcd2bt.cpp和CMakeLists.txt&#xff0c;分别写入&#xff1a; grid3d_node.cpp #include <ros/ros.h> #include <string> #include "grid3d.hpp"int main(int argc, char…

【Maven技术专题】「实战开发系列」盘点Maven项目中打包需要注意到的那点事儿

Maven项目打包需要注意到的那点事儿 Maven是什么Maven打包插件的作用Maven打包后经常出现的问题maven构建可运行Jar包 Maven打包的三种方式Maven打包的最简单的方法maven-jar-pluginMANIFEST.MF文件部分MANIFEST.MF的文件内容jar包的拷贝机制在pom.xml中配置 maven-jar-plugin的…

mybatis多表映射-分步查询

1、建库建表 create database mybatis-example; use mybatis-example; create table t_book (bid varchar(20) primary key,bname varchar(20),stuid varchar(20) ); insert into t_book values(b001,Java,s001); insert into t_book values(b002,Python,s002); insert into …