Controllable Text Generation with Language Constraints

本文是LLM系列文章,针对《Controllable Text Generation with Language Constraints》的翻译。

具有语言约束的可控文本生成

  • 摘要
  • 1 引言
  • 2 COGNAC基准
  • 3 方法
  • 4 实验设置
  • 5 结果
  • 6 相关工作
  • 7 结论
  • 不足

摘要

我们考虑在具有自然语言中指定的约束的语言模型中的文本生成任务。为此,我们首先创建了一个具有挑战性的基准COGNAC,它为模型提供了一个带有示例文本的主题,以及要避免的文本约束。与之前的工作不同,我们的基准测试包含来自Wordnet和Wikidata等数据库的知识密集型约束,这允许直接评估,同时在广泛的属性级别和狭窄的词汇级别控件之间取得平衡。我们发现,即使是像GPT-3这样的最先进的语言模型也经常在这项任务中失败,并提出了一种利用语言模型自身内部知识来指导生成的解决方案。我们的方法称为COGNACGEN,首先查询语言模型以生成指定主题或约束的指导术语,并使用该指导来修改模型的token生成概率。我们提出了三种形式的指导(二进制验证器、top-k token、文本示例),并使用前缀调整方法来提取指导,以解决不同的自然语言约束。通过广泛的实证评估,我们证明了COGNACGEN可以成功地推广到看不见的指令,并在生成符合约束的文本方面优于竞争基线。

1 引言

2 COGNAC基准

3 方法

4 实验设置

5 结果

6 相关工作

7 结论

我们引入了一个新的任务,用于在自然语言中指定约束的语言模型中进行可控生成。我们使用Wordnet和Wikidata的数据开发了COGNAC,这是一个包含基于知识的约束的新基准,并表明即使是像GPT-3这样的最先进的语言模型也无法符合所提供的指令。然后,我们开发了COGNACGEN,这是一种使用语言模型内部知识来指导生成的方法。我们的方法涉及几个关键创新,如使用前缀调整的引导自蒸馏和基于文本示例引导的基于trie的解码方案。这有助于该模型生成与几个基线(包括GPT-3等更大的模型)相比不太频繁违反约束的主题文本。更重要的是,我们的方法只需要训练前缀参数,并且可以很容易地扩展到更大的模型,而不需要显著的计算开销。我们的分析还表明,COGNAC仍有很大的改进空间,我们希望未来的方法将发现有助于开发更好的方法来控制语言模型的基准。

不足

我们的工作旨在减少LMs中不受欢迎的生成,同时推广理想的文本。当应用我们的方法时,一个成功的场景将提高指令一致性得分。然而,我们的基准受到所使用的基础知识库(KB)的全面性的限制。任何超出知识库中现有事实知识的生成都将被视为不正确的,这可能会放大知识库中存在的任何偏见,例如,具有特定背景或种族的人可能代表性不足。此外,即使生成在知识库的范围内,模型也可能倾向于选择某些类型的知识而不是另一种类型的知识。这些隐含的偏见可能会对模型的最终用户造成不公平。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/46015.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

消息中间件的选择:RabbitMQ是一个明智的选择

💗wei_shuo的个人主页 💫wei_shuo的学习社区 🌐Hello World ! MQ(Message Queue) MQ(消息队列)是一种用于在应用程序之间进行异步通信的技术;允许应用程序通过发送和接收…

css学习3(三种样式表与样式控制优先级)

1、外部样式表&#xff1a;当样式需要应用于很多页面时&#xff0c;外部样式表将是理想的选择。在使用外部样式表的情况下&#xff0c;你可以通过改变一个文件来改变整个站点的外观。每个页面使用 <link> 标签链接到样式表&#xff0c;也要放到<head>中。 2、外部…

上网课用什么耳机和麦克风,分享几款骨传导耳机上网课用

各位耳机狂热者&#xff0c;咱们都了解传统的蓝牙耳机相对于老式有线耳机来说确实方便得多。但是&#xff0c;也别忘了蓝牙耳机会导致耳道不断堵塞&#xff0c;引发细菌滋生等问题。好在近年来&#xff0c;骨传导耳机如火如荼地走红&#xff0c;解决了这些难题&#xff0c;简直…

学习Vue:过渡与动画效果

在Vue.js中&#xff0c;为了让页面更具有吸引力和交互性&#xff0c;您可以通过过渡和动画效果来提升用户体验。本文将介绍如何利用过渡类名实现动画效果&#xff0c;探讨Vue过渡的不同阶段&#xff0c;以及如何使用第三方动画库&#xff0c;如Animate.css&#xff0c;来实现更…

飞天使-jenkins进行远程linux机器修改某个文件的思路

文章目录 jenkins配置的方式jenkins中执行shell的思路 jenkins配置的方式 jenkins中执行shell的思路 下面的脚本别照抄&#xff0c;只是一个思路 ipall"$ips"# 将文本参数按行输出为变量 while IFS read -r line; doecho "$line" if [[ ! -z $line ]] &…

ubuntu 22.04 LTS 在 llvm release/17.x 分支上编译 cookbook llvm example Chapter 02

不错的资料&#xff1a; LLVMClang编译器链接器--保值【进阶之路二】 - 掘金 —————————————————————————————————————— 下载 llvm-cookbook example: $ git clone https://github.com/elongbug/llvm-cookbook.git 也可以参照llvm-pr…

java 线程池实现多线程处理list数据

newFixedThreadPool线程池实现多线程 List<PackageAgreementEntity> entityList new CopyOnWriteArrayList<>();//多线程 10个线程//int threadNum 10;int listSize 300;List<List<PackageAgreementDto>> splitData Lists.partition(packageAgre…

Vue实现动态遍历生成el-input

实现效果: el-input的label是measureName, el-input绑定的值是formDatat.measureCode 接口返回的数据格式如下 处理过的formData的格式如下

SpringBoot+微信小程序奶茶在线点单小程序系统 附带详细运行指导视频

文章目录 一、项目演示二、项目介绍三、运行截图四、主要代码 一、项目演示 项目演示地址&#xff1a; 视频地址 二、项目介绍 项目描述&#xff1a;这是一个基于SpringBoot微信小程序框架开发的奶茶在线点单小程序系统。首先&#xff0c;这是一个前后端分离的项目&#xff…

机器学习深度学习——NLP实战(情感分析模型——textCNN实现)

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位即将上大四&#xff0c;正专攻机器学习的保研er &#x1f30c;上期文章&#xff1a;机器学习&&深度学习——NLP实战&#xff08;情感分析模型——RNN实现&#xff09; &#x1f4da;订阅专栏&#xff1a;机器学习…

SpringBoot复习:(56)使用@Transactional注解标记的方法的执行流程

首先&#xff0c;如果在某个类或某个方法被标记为Transactional时&#xff0c;Spring boot底层会在创建这个bean时生成代理对象&#xff08;默认使用cglib) 示例&#xff1a; 当调用studentService的addStudent方法时&#xff0c;会直接跳到CglibAopProxy类去执行intercept方…

【BASH】回顾与知识点梳理(三十)

【BASH】回顾与知识点梳理 三十 三十. 进程的观察30.1 ps &#xff1a;将某个时间点的进程运作情况撷取下来仅观察自己的 bash 相关进程&#xff1a; ps -l观察系统所有进程&#xff1a; ps aux 30.2 top&#xff1a;动态观察进程的变化30.3 pstree 该系列目录 --> 【BASH】…

动态代理的两个使用方式(手动实现+SpringAOP实现)-Demo

一、手动实现 1、具体代码 package com.xch.proxy;/*** 具体业务接口** author XuChenghe* date 2023/8/18 15:09*/ public interface Star {/*** 唱歌方法** param name* return*/String sing(String name);/*** 跳舞方法*/void dance();} package com.xch.proxy;/*** 具体…

jenkins 安装nodejs 14

参考&#xff1a; jenkins容器安装nodejs-前端问答-PHP中文网

VR漫游:720度实景参观,打造魅力生态小区

随着城市的不断发展&#xff0c;小区的建设越发具有生态化、绿色化的特点&#xff0c;人们也会偏向选择更加适合居住的小区。为了让更多的用户体验小区的舒适性&#xff0c;不少地产开发商准备引入VR漫游技术。 VR漫游不仅能够真实地展示现场环境&#xff0c;还可以改变传统网络…

SSR使用HTTPS

1.安装 npm i browser-sync 2. 再angular.json里配置 "serve-ssr": {"builder": "nguniversal/builders:ssr-dev-server","options": {"ssl": true,"sslCert": "./node_modules/browser-sync/certs/server…

【大虾送书第六期】搞懂大模型的智能基因,RLHF系统设计关键问答

目录 ✨1、RLHF是什么&#xff1f; ✨2、RLHF适用于哪些任务&#xff1f; ✨3、RLHF和其他构建奖励模型的方法相比有何优劣&#xff1f; ✨4、什么样的人类反馈才是好的反馈 ✨5、RLHF算法有哪些类别&#xff0c;各有什么优缺点&#xff1f; ✨6、RLHF采用人类反馈会带来哪些局…

Android13新特性之通知权限提升

Android13新特性之通知权限提升 随着移动通信的高速发展&#xff0c;保障通信的安全性变得尤为重要。在Android 13的最新版本中&#xff0c;通知权限的管理得到了进一步加强。为了实现安全的通信和确保用户的隐私&#xff0c;必须正确申请通知权限。本文将详细探讨如何在Andro…

【Axure视频教程】元件边界函数

今天教大家在Axure里如何使用元件边界函数&#xff0c;包括动态获取指定元件的上下左右边界&#xff0c;限制元件移动的边界&#xff0c;以及在中继器尺寸变化后利用元件边界函数推动拉起下方元件。该教程主要讲解并且和或者函数&#xff0c;不包含中继器表格制作的相关内容&am…

人类反馈强化学习RLHF;微软应用商店推出AI摘要功能

&#x1f989; AI新闻 &#x1f680; 微软应用商店推出AI摘要功能&#xff0c;快速总结用户对App的评价 摘要&#xff1a;微软应用商店正式推出了AI摘要功能&#xff0c;该功能能够将数千条在线评论总结成一段精练的文字&#xff0c;为用户选择和下载新应用和游戏提供参考。该…