NLP论文速读(EMNLP 2024)|动态奖励与提示优化来帮助语言模型的进行自我对齐

论文速读|Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models

论文信息:

图片

简介:

      本文讨论的背景是大型语言模型(LLMs)的自我对齐问题。传统的LLMs对齐方法依赖于昂贵的训练和人类偏好注释,这限制了它们的可扩展性和实用性。随着LLMs变得更复杂和广泛采用,对于成本效益高、注释效率高且能快速适应的对齐策略的需求日益迫切。自我对齐旨在通过利用模型本身来提高LLMs的对齐,例如用模型生成的反馈替换人类反馈,合成偏好数据或自我批评。然而,这些方法仍然需要大量的资源,包括成本高昂且不稳定的RLHF(从人类反馈中学习的强化学习)调整,以及一定程度的人类监督。本文解决的问题是如何在不进行昂贵调整或注释的情况下,实现LLMs的自我对齐。具体来说,它旨在降低与LLMs对齐相关的成本,并提高模型适应不同对齐挑战的效率。本文提出了一种无需调整的自我对齐方法,称为动态奖励与提示优化(DRPO),它利用基于搜索的优化框架,使LLMs能够迭代自我改进并制定最优的对齐指令,无需额外的训练或人类干预。

论文方法:

图片

      本文提出的方法是动态奖励与提示优化(DRPO),它基于搜索的提示优化(PO)框架构建,使LLMs能够自我纠正并自动制定详细的对齐指令。DRPO的核心创新在于其动态奖励机制,该机制与优化框架集成,允许基于特定查询动态调整LLMs的奖励,以识别和解决模型的对齐盲点。具体来说,DRPO包括以下几个步骤:            

      问题表述:给定一个LLM B,对齐指令由系统提示P和一组N个上下文学习(ICL)示例I组成。目标是找到最佳的P和IK,以最大化模型响应的对齐。        

      动态奖励与提示优化(DRPO):DRPO将系统提示和ICL示例分别优化,采用两步优化方法。首先,构建一个通用的ICL示例集并优化它们的响应以获得I*,然后基于优化后的通用集I估计模型特定的系统提示P。       

      动态奖励机制:将优化问题表述为马尔可夫决策过程(MDP),状态s代表优化目标,动作a基于给定状态的对齐反馈定义。动态奖励函数R可以根据特定查询动态调整,以灵活地评分和评估响应。        

      ICL示例优化:从一组基础ICL示例开始,目标是找到一个通用集I*,以最大化跨不同模型的对齐。通过搜索树的状态s0 = bi初始化,并使用动态奖励函数R评估和改进对齐。       

      系统提示优化:使用K个优化的ICL示例IK,通过相似性检索选择。收集一组种子样本X,用于测试基础模型B的对齐。目标是找到最优提示P,以最大化LLM B的对齐。

论文实验:

图片

      根据Table 1,论文中的实验旨在评估动态奖励与提示优化(DRPO)方法在不同大型语言模型(LLMs)上的性能,并与基线方法进行比较。实验使用了just-eval-instruct基准测试,这是一个合并了五个流行对齐数据集的标准对齐基准,包含1000个示例,用于全面和细致地评估LLM对齐。这些示例中,前800个评估模型的帮助性,剩下的200个评估无害性。评分标准从1到5,分别代表“强烈反对”、“反对”、“中立”、“同意”和“强烈同意”。DRPO在所有模型上的表现均优于基线方法,无论是未经调整的模型还是经过SFT/RLHF调整的模型。在未经调整的模型(如Mistral 7b和Llama 2 70bq)上应用DRPO后,其表现甚至超过了经过RLHF/SFT调整的模型。DRPO在URIAL使用的ICL示例数量更少的情况下,仍然实现了优于URIAL的性能,这突显了DRPO优化对齐指令的质量。表中还提到,尽管just-eval-instruct包括了安全指标,但所有方法(RLHF/SFT、URIAL和DRPO)在安全指标上都取得了一致的高分,表明像DRPO这样的无需调整的方法可以实现非常安全且符合人类价值观的模型。

论文链接:

https://arxiv.org/abs/2411.08733

原文来自:

NLP论文速读(EMNLP 2024)|动态奖励与提示优化来帮助语言模型的进行自我对齐

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/61322.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机中的网络安全

在本篇中介绍了以下几个方面: 机密性 密码学 对称加密算法(DES, 3DES, AES) 公开秘钥算法 RSA大素数的获取 完整性 散列函数(MD5, SHA-1, 并没有提及算法实现) 报文鉴别(MAC) 数字签名 端点鉴别 应用 SSL(TCP网络安全) 运行时安全 防火墙的基本知识 主要体现在以下几个方…

SLM561A系列60V10-50mA单通道线性恒流LED驱动芯片,为汽车照明、景观照明助力

SLM561A系列选型参考: SLM561A10ae-7G SOD123 SLM561A15ae-7G SOD123 SLM561A20ae-7G SOD123 SLM561A25ae-7G SOD123 SLM561A30ae-7G SOD123 SLM561A35ae-7G SOD123 SLM561A40ae-7G SOD123 SLM561A45ae-7G SOD123 SLM561A50ae-7G SOD123 S…

golang操作mysql基础驱动github.com/go-sql-driver/mysql使用

golang中类似java操作mysql的jdbc一样,github.com/go-sql-driver/mysql也为go提供了基础接口,在开发中往往需要写更多的代码来满足自己的定制需求,java在驱动基础上有了扩展,orm框架诞生,mybatis、jpa等都是好用的扩展…

RabbitMQ1:初识MQ

欢迎来到“雪碧聊技术”CSDN博客! 在这里,您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者,还是具有一定经验的开发者,相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导,我将…

父组件提交时让各自的子组件验证表格是否填写完整

项目场景: 提示:这里简述项目相关背景: 父组件中有三个表格,表格中时输入框,有些输入框是必填的,在父组件提交时需要验证这三个表格的必填输入框中是否有没填写的。 原因分析: 提示&#xff1a…

Siglus引擎 Unpack | 未完待续

前言 未完待续。 代码在这里:https://github.com/N0zoM1z0/SiglusEngine-Extract 以后随时会更新。() 因为我是选择直接逆向游戏引擎,在无源码,不hook的情况下硬逆Siglus…… 路漫漫。。。 read.sav 可以直接逆Sigl…

黑马嵌入式开发入门模电基础学习笔记

学习视频: 黑马程序员嵌入式开发入门模电(模拟电路)基础 文章目录 背景介绍电流电压组件仿真三极管ne555PCBEDA案例:非接触式电笔案例:电子琴 背景介绍 电流 电压 组件 仿真 三极管 mos管 ne555 PCB EDA 案例:非接触…

centos7安装Chrome使用selenium-wire

背景:在centos7中运行selenium-wire爬虫,系统自带的Firefox浏览器不兼容,运行报错no attribute ‘set_preference’,应该是selenium-wire和Firefox的驱动不兼容 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上…

C++设计模式:抽象工厂模式(风格切换案例)

抽象工厂模式(Abstract Factory)是一种创建型设计模式,其核心思想是:为一组相关或相互依赖的对象提供一个创建接口,而无需指定它们具体的类。简单来说,就是一个工厂可以生产一系列相关的对象。 我们接下来…

Oracle数据库安全扫描1158/3938端口出现弱SSL加密算法解决方法之一

问题复述 某国企项目现场反应安全扫描出部署某历史项目的Windows服务器上的1158及3938两个端口出现了弱SSL加密算法漏洞,要求整改。 经过核实,该Windows服务器上部署了tomcat与Oracle 11g数据库,其中1158和3938两个端口均为Oracle数据库所使…

linux 中mysql查看慢日志

1、到mysql容器,先登录到数据库,查看是否开启 mysql -h 127.0.0.1 -uroot -p SHOW VARIABLES LIKE slow_query_log; 2、如果没有开启,需要先开启 set global slow_query_log ON; 3、查看慢日志文件 SHOW VARIABLES LIKE slow_query_log…

从0开始机器学习--Day30--异常检测算法

异常检测算法(Anomaly detection algorithm) 我们定义异常检测算法的输出,也写作,这里的每一项括号内代表的是每个特征都符合各自的高斯分布(也就是正态分布),代表均值,决定了模型的中心位置;代…

[数组二分查找] 0209. 长度最小的子数组

文章目录 1. 题目链接2. 题目大意3. 示例4. 解题思路5. 参考代码 1. 题目链接 209. 长度最小的子数组 - 力扣(LeetCode) 2. 题目大意 描述:给定一个只包含正整数的数组 nums 和一个正整数 target。 要求:找出数组中满足和大于等…

架构图解析:如何构建高效的微服务系统

在当今的数字化浪潮中,构建高效、灵活且可扩展的系统已成为企业的重要目标。微服务架构作为一种先进的软件设计模式,通过将复杂的应用程序分解为一系列小型、独立的服务,显著提升了系统的灵活性、可扩展性和维护性。本文将通过解析微服务系统…

排序排序的概念及其运用和选择排序

排序排序的概念及其运用和选择排序 7. 排序7.1 排序的概念及其运用7.2 选择排序算法——直接选择排序选择排序基本思想:直接选择排序选择排序原理参考程序 如何交换数据直接选择排序的特性总结: 7. 排序 7.1 排序的概念及其运用 排序:所谓排…

centos和ubuntu有什么区别?

CentOS与Ubuntu的区别在于以下几个方面:1、源码基础不同;2、设计理念不同;3、使用场景不同;4、软件包管理不同;整体上看,CentOS更倾向于企业级服务器应用,稳定性较强;而Ubuntu更注重…

Websocket如何分块处理数据量超大的消息体

若我们服务端一次性最大处理的字节数是1M,而客户端发来了2M的数据,此时服务端的数据就要被切割成两次传输解码。Http协议中有分块传输,而在Websocket也可以分块处理超大的消息体。在jsr356标准中使用javax.websocket.MessageHandler.Partial可以分块处理…

ELMo模型介绍:深度理解语言模型的嵌入艺术

ELMo模型介绍:深度理解语言模型的嵌入艺术 引言 在自然语言处理(NLP)领域,词嵌入(word embedding)是将词汇或短语从词汇表映射到向量的数学表示,这些向量能够捕捉词汇之间的语义和语法关系。E…

【澜舟科技-注册/登录安全分析报告】

前言 由于网站注册入口容易被机器执行自动化程序攻击,存在如下风险: 暴力破解密码,造成用户信息泄露,不符合国家等级保护的要求。短信盗刷带来的拒绝服务风险 ,造成用户无法登陆、注册,大量收到垃圾短信的…

C++ 编程基础(8)模版 | 8.3、类模版

文章目录 一、类模版1、定义2、模板参数3、模版的实例化4、模版的特化5、模版成员函数6、总结 前言&#xff1a; 这里是引用 一、类模版 1、定义 类模板的定义以template关键字开始&#xff0c;后面跟着一个模板参数列表&#xff08;用尖括号< >包围&#xff09;。模板参…