LLMs之CriticGPT:CriticGPT的简介、安装和使用方法、案例应用之详细攻略

LLMs之CriticGPT:CriticGPT的简介、安装和使用方法、案例应用之详细攻略

目录

CriticGPT的简介

1、简介

2、CriticGPT的方法

2.1、CriticGPT的训练方法

2.2、CriticGPT的批评生成方法

3、局限性

4、后续步骤

CriticGPT的安装和使用方法

CriticGPT的案例应用


CriticGPT的简介

2024年6月27日,OpenAI官方正式发布CriticGPT,CriticGPT是一个基于 GPT-4 的模型,它撰写了对 ChatGPT 响应的评论,以帮助人类训练师在 RLHF 期间发现错误

官方地址:https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/

原始论文:https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf

1、简介

我们训练了一个基于 GPT-4 的模型,称为 CriticGPT,用于捕获 ChatGPT 代码输出中的错误。我们发现,当人们从 CriticGPT 获得帮助来审查 ChatGPT 代码时,他们在 60% 的时间里比没有帮助的人表现得更好。我们正在开始将类似 CriticGPT 的模型集成到我们的 RLHF 标签管道中,为我们的训练师提供明确的 AI 帮助。这是朝着能够评估先进人工智能系统的输出迈出的一步,如果没有更好的工具,人们可能很难对这些结果进行评分。

为 ChatGPT 提供支持的 GPT-4 系列模型通过“人类反馈强化学习”(RLHF) 进行调整,以提供有用和互动性。RLHF 的一个关键部分是收集比较,在这些比较中,被称为 AI 训练师的人对不同的 ChatGPT 响应进行评分。

随着我们在推理和模型行为方面的进步,ChatGPT 变得更加准确,它的错误变得更加微妙。这可能会使 AI 训练师在出现不准确时难以发现不准确之处,从而使为 RLHF 提供支持的比较任务变得更加困难。这是 RLHF 的一个基本局限性,并且随着模型逐渐变得比任何可以提供反馈的人更了解模型,它可能会使调整模型变得越来越困难。

为了帮助应对这一挑战,我们训练 CriticGPT 撰写评论,强调 ChatGPT 答案中的不准确之处。

CriticGPT 的建议并不总是正确的,但我们发现,与没有 AI 帮助相比,它们可以帮助训练师通过模型编写的答案发现更多的问题。此外,当人们使用 CriticGPT 时,人工智能增强了他们的技能,从而比人们单独工作时更全面的批评,并且比模型单独工作时更少的幻觉错误。在我们的实验中,第二个随机训练师在超过 60% 的时间里更喜欢 Human+CriticGPT 团队的批评,而不是来自无助者的批评。

2、CriticGPT的方法

2.1、CriticGPT的训练方法

CriticGPT 也接受了 RLHF 的训练,类似于 ChatGPT。但与 ChatGPT 不同的是,它看到了大量包含错误的输入,然后它不得不对其进行批评。我们要求 AI 训练师手动将这些错误插入到 ChatGPT 编写的代码中,然后编写示例反馈,就好像他们抓住了刚刚插入的错误一样。然后,同一个人比较了对修改后的代码的多个批评,这样他们就可以很容易地判断评论何时抓住了他们插入的错误。在我们的实验中,我们研究了 CriticGPT 是否可以捕获插入的错误和之前训练师捕获的“自然发生的”ChatGPT 错误。我们发现,在 63% 的关于自然发生的错误的案例中,训练师更喜欢 CriticGPT 批评而不是 ChatGPT 批评,部分原因是新批评家产生的“吹毛求疵”(无益的小抱怨)更少,产生幻觉问题的频率也更低。

2.2、CriticGPT的批评生成方法

我们还发现,通过对批评奖励模型使用额外的测试时搜索,我们可以生成更长、更全面的批评。这种搜索过程使我们能够平衡我们在代码中寻找问题的积极程度,并在幻觉和检测到的错误数量之间配置精确度-召回率权衡。这意味着我们可以生成对 RLHF 尽可能有帮助的评论。有关更多详细信息,请参阅我们的研究论文。

3、局限性

我们在 ChatGPT 的答案上训练了 CriticGPT,这些答案很短。为了监督未来的代理,我们需要开发可以帮助训练师理解长期复杂任务的方法。

模型仍然会产生幻觉,有时教练在看到这些幻觉后会犯标签/标记错误。

有时,现实世界的错误可能会分散在答案的许多部分。我们的工作重点是可以在一个地方指出的错误,但将来我们也需要解决分散的错误。

CriticGPT 只能提供有限的帮助:如果一项任务或响应非常复杂,即使是专家在模型帮助下也可能无法正确评估。

4、后续步骤

为了对齐越来越复杂的 AI 系统,我们需要更好的工具。在对 CriticGPT 的研究中,我们发现将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。我们正计划进一步扩大这项工作的规模并将其付诸实践。

CriticGPT的安装和使用方法

暂时未开源,持续更新中……

CriticGPT的案例应用

持续更新中……

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/40442.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“proxy_pass“ directive is duplicate

后面发现是nginx.conf里面proxy pass这里有两个,注释其中一个并重新运行即可!

AI并不是开发者的敌人,而是帮助他们实现更高效工作的得力助手。

AI是在帮助开发者还是取代他们? 在软件开发领域,生成式人工智能(AIGC)正在改变开发者的工作方式。无论是代码生成、错误检测还是自动化测试,AI工具正在成为开发者的得力助手。然而,这也引发了对开发者职业前…

基于主流SpringBoot进行JavaWeb开发的学习路线

目录 一、学习路线 (1)第一部分(Web前端开发的技术栈) (2)第二部分(Web后端开发) 二、学习之后必备的技能 三、学习Web开发的基础与未来的收获 学完这一类知识目标:…

Mybatis-01 原理

一. JDBC式编程 在 jdbc 编程中,我们最常用的是 PreparedStatement 式的编程,我们看下面这个例子; Connection conn null; PreparedStatement ps null; ResultSet rs null;try {// 1. 注册驱动Class.forName("com.mysql.jdbc.Drive…

Sping源码总览

源码地址:https://github.com/spring-projects/spring-framework 仓库地址:https://gitcode.net/qq_42665745/spring/-/tree/master 文章目录如下: 实现一个简单的Bean容器Bean 的定义、注册、获取Bean有参构造实例化Bean属性注入资源加载器…

C++11使用std::future和std::promise实现线程同步和异步通信

std::future 和 std::promise 是 C11 引入的标准库特性,用于实现线程间的异步通信和同步。它们提供了一种机制,使一个线程能够生成一个值或异常,并让另一个线程获取这个值或异常。 (线程A中设置结果) std::promise 用于设置异步操作的结果(线…

【Jupyter Notebook与Git完美融合】在Notebook中驾驭版本控制的艺术

标题:【Jupyter Notebook与Git完美融合】在Notebook中驾驭版本控制的艺术 Jupyter Notebook是一个流行的开源Web应用程序,允许用户创建和共享包含实时代码、方程、可视化和解释性文本的文档。而Git是一个广泛使用的分布式版本控制系统,用于跟…

关于C#在WPF中如何使用“抽屉”控件

关于C#在WPF中如何使用“抽屉”控件 1.前提准备2.XAML代码3.对应的C#代码4.显示效果1.前提准备 需要引用MaterialDesign控件库,关于如何引用,请参照文章——关于C#如何引用MaterialDesign控件库 2.XAML代码 <Window x:Class="MaterialDesign_Test.MainWindow"…

化身成羊:关于羊的词群探析

在西方的神话故事中&#xff0c;像主神宙斯&#xff0c;或者基督教义中的上帝&#xff0c;通常都有化身成羊的形象。 那为什么会这样呢&#xff1f; 一、什么是神话(myth)&#xff1f; 神话&#xff0c;正式的用词是 mythology&#xff1a; mythology n.神话&#xff1b;神话…

Http接口RestSharp中StatusCode返回0, 但服务器或本地postman获取应答正常(C#)

我的本地和其他服务器用同一段代码都可以访问&#xff1a; 原代码&#xff1a; RestClient client new RestClient(url); client.Timeout -1; RestRequest request new RestRequest(Method.POST); request.AddHeader("Authorization", "Bearer " acc…

Echarts中的折线图,多个Y轴集中在左侧(在Vue中使用多个Y轴的折线图)

简述&#xff1a;在 ECharts 中&#xff0c;创建一个带有多个 Y 轴的折线图&#xff0c;并且将这些 Y 轴都集中显示在图表的左侧&#xff0c;可以通过合理配置 yAxis 和 series 的属性来实现。简单记录 一. 函数代码 drawCarNumEcs() {// 初始化echarts图表,并绑定到id为"…

网络安全设备——探针

网络安全设备探针是一种专门用于网络安全领域的工具&#xff0c;它通过对网络流量进行监控和分析&#xff0c;帮助发现和防止网络攻击。以下是对网络安全设备探针的详细解释&#xff1a; 定义与功能 定义&#xff1a;网络安全设备探针是一种设备或软件&#xff0c;它通过捕获…

【docker】运行阶段遇到的问题

目录 1、查询docker 下挂载了哪些工具 2、docker中的简单命令 3、实际场景应用&#xff08;redis&#xff09; 目前工作中仅用到了redis,所以没有太多经验可以交流&#xff0c;暂时仅将我目前遇到的进行发布。还请见谅。 1、查询docker 下挂载了哪些工具 docker ps -a 或者…

Vue组件如何“传话”?这里有个小秘诀!

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;vue篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来vue篇专栏内容:vue-组件通信 目录 Vue组件通信 &#xff08;1&#xff09; props / $emit 1. 父组件向子组件传…

适合职场小白的待办事项管理方法和工具

刚入职场那会儿&#xff0c;我每天都像只无头苍蝇&#xff0c;忙得团团转却效率低下。待办事项像潮水般涌来&#xff0c;会议、报告、客户跟进……每一项都像是悬在头顶的利剑&#xff0c;让我焦虑不堪。我深知&#xff0c;管理好待办事项是职场生存的必修课&#xff0c;但该如…

内衣洗衣机哪个牌子好用?倾力推荐四大热门产品,质量放心

在当今社会&#xff0c;内衣洗衣机已经成为每个家庭必不可少的家电之一。但由于市场上的内衣洗衣机品牌和型号繁多&#xff0c;对于消费者来说&#xff0c;选择一款实用、性价比高的内衣洗衣机是非常重要的。那么&#xff0c;内衣裤洗衣机哪个品牌最好&#xff1f;接下来我将会…

框架为我们做了什么?

1. SpringBoot 1.1 web服务器 Spring Boot 的 web 服务器原理主要基于其嵌入式服务器的概念&#xff0c;这意味着它内嵌了一个 web 服务器&#xff0c;无需部署到外部服务器上。Spring Boot 内嵌了如 Tomcat、Jetty 或 Undertow 等 servlet 容器。 1.2 servlet Servlet&…

【鸿蒙学习笔记】创建自定义组件

官方文档&#xff1a;创建自定义组件 目录标题 自定义组件的基本结构&#xff11;・struct 自定义组件名 {...}&#xff20;ComponentEntry &#xff11;・ &#xff12;・ &#xff13;・ &#xff14;・ &#xff15;・ &#xff16;・ &#xff17;・ &#xff18;・ &…

Python | Leetcode Python题解之第206题反转链表

题目&#xff1a; 题解&#xff1a; # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nextNone): # self.val val # self.next next class Solution:def reverseList(self, head: Optional[ListNode]) -> Optio…

VulnHub靶场之DarkHole_1

1 信息收集 1.1 主机发现 arp-scan -l 主机IP地址为&#xff1a;192.168.1.17 1.2 端口和服务扫描 nmap -sS -sV -A -T5 -p- 192.168.1.17 开放22&#xff0c;80端口 1.3 目录扫描 dirsearch -u 192.168.1.17 2 渗透 2.1 访问端口 2.2 注册账号 暴力破解不现实&#…