Knowledge Editing for Large Language Models: A Survey

本文是LLM系列文章,针对《Knowledge Editing for Large Language Models: A Survey》的翻译。

大型语言模型的知识编辑研究综述

  • 摘要
  • 1 引言
  • 2 背景
  • 3 问题描述
  • 4 评估指标
  • 5 方法
  • 6 数据集
  • 7 应用
  • 8 讨论
  • 9 结论

摘要

大型语言模型(LLM)最近改变了学术界和工业界的格局,因为它们具有基于丰富的知识和推理能力理解、分析和生成文本的非凡能力。然而,LLM的一个主要缺点是,由于其前所未有的参数数量,其预训练的计算成本巨大。当经常需要将新知识引入预先训练的模型中时,这种劣势会加剧。因此,必须开发有效和高效的技术来更新预先训练的LLM。传统方法通过直接微调将新知识编码在预先训练的LLM中。然而,天真地重新训练LLM可能是计算密集型的,并且有可能退化与模型更新无关的有价值的预先训练的知识。最近,基于知识的模型编辑(KME)引起了越来越多的关注,其目的是精确地修改LLM以包含特定知识,而不会对其他无关知识产生负面影响。在本次综述中,我们旨在全面深入地概述KME领域的最新进展。我们首先介绍了KME的一般公式,以包含不同的KME策略。之后,我们基于如何将新知识引入预先训练的LLM,提供了KME技术的创新分类,并研究了现有的KME策略,同时分析了每个类别方法的关键见解、优势和局限性。此外,还相应地介绍了KME的代表性度量、数据集和应用。最后,我们对KME的实用性和剩余挑战进行了深入分析,并为该领域的进一步发展提出了有前景的研究方向。

1 引言

2 背景

3 问题描述

4 评估指标

5 方法

6 数据集

7 应用

8 讨论

9 结论

在这项调查中,我们对基于知识的模型编辑(KME)技术进行了全面深入的回顾,该技术用于在预先训练的LLM中精确有效地更新新知识。我们首先将KME问题公式化为一个约束优化目标,同时确保编辑的准确性和保留性,这通常包括不同的KME策略。然后,我们对KME的评估指标进行了概述,揭示了编辑模型的理想属性。随后,我们提出了一个结构化的分类框架来系统地对现有的KME技术进行分类。在每一类中,我们概述了核心挑战,阐述了具有代表性的方法,并讨论了它们的优势和劣势。此外,我们总结了广泛用于评估KME技术的数据集,强调某些技术需要特定的数据集结构来进行训练或评估。为了激励研究人员设计更实用的实现,我们还重点介绍了KME技术在现实世界中的应用。最后,我们确定了未来研究的几个潜在挑战,并提供了有助于该领域进一步发展的有见地的方向。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/134772.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第十八章:Swing自述

18.1 Swing概述 18.2:Swing常用窗体 18.2.1:JFrame窗体 package eightth; import java.awt.*; //导入AWT包 import javax.swing.*; //导入Swing包 public class JFreamTest { public static void main(String args[]) { // 主方法 JFr…

建链时,please install openssl! use “openssl version“ command to check.

please install openssl! use “openssl version” command to check. 但是我已经安装了 编辑build_chain.sh文件 也可以用vi或者gedit命令 将 [ ! -z “ ( o p e n s s l v e r s i o n ∣ g r e p 1.0.2 ) " ] ∣ ∣ [ ! − z " (openssl version | grep 1.0.2)…

NowCoder | 环形链表的约瑟夫问题

NowCoder | 环形链表的约瑟夫问题 OJ链接 思路&#xff1a; 创建带环链表带环链表的删除节点 代码如下&#xff1a; #include<stdlib.h>typedef struct ListNode ListNode; ListNode* ListBuyNode(int x) {ListNode* node (ListNode*)malloc(sizeof(ListNode));node…

Qt 二维码生成与识别

1.简介 QZXing是一个基于Qt框架的二维码解码库&#xff0c;它是对ZXing&#xff08;Zebra Crossing&#xff09;开源项目的一个Qt封装。ZXing是一个功能强大的开源二维码解码库&#xff0c;支持多种类型的码&#xff0c;包括QR码、DataMatrix码、Aztec码等。 QZXing提供了一个…

执行sql报错only_full_group_by的解决方法

一、前言 最近老项目换新数据库&#xff08;都是mysql&#xff09;&#xff0c;有些在老数据库可以执行的sql&#xff0c;在新数据库执行就会报错&#xff0c;如下&#xff1a; [SQL]SELECT* FROM bsc_user_t A group by user_name limit 100[Err] 1055 - Expression #1 …

101 对称二叉树

原题链接&#xff1a;101 对称二叉树 全代码&#xff1a; /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : va…

java项目之电影网站(ssm框架)

项目简介 电影网站实现了以下功能&#xff1a; 登录模块用例中用户包括用户和管理员和二种角色&#xff0c;分别可以进行其对应的身份登录或取消登录&#xff0c;关闭系统。用户模块主要包括首页&#xff0c;电影信息&#xff0c;电影商城&#xff0c;社区交流&#xff0c;电…

小程序day04

目标 自定义组件 创建组件 引用组件 局部引用 全局引用 组件的函数定义到metods节点中&#xff0c;梦回vue2. 样式 数据&#xff0c;方法&#xff0c;属性 下划线开头的称为自定义方法&#xff0c;非下划线开头的都是事件处理函数。 神特么&#xff0c;this.datathis.pro…

【C#学习笔记】事件

前言 在之前我学习委托的时候&#xff0c;写到了 学习了委托&#xff0c;事件其实也就学习了&#xff0c;事件和委托基本上一模一样&#xff1a; 然而在实际工作中通过对事件的深入学习后发现&#xff0c;实际上事件的使用比委托要严格一些&#xff0c;本节将详细讲解事件的使…

深入理解Python迭代器与生成器

文章目录 1. 迭代器协议代码示例:2. 生成器基础代码示例:3. 使用yield的高级技巧代码示例:4. 生成器表达式代码示例:迭代器和生成器是Python中实现迭代的两种主要方式,它们都允许用户创建可以遍历数据集的对象。在Python中,迭代器协议是指对象需要遵守__iter__()和__next…

YOLOv5论文作图教程(2)— 软件界面布局和基础功能介绍

前言:Hello大家好,我是小哥谈。通过上一节课的学习,相信大家都已成功安装好软件了,本节课就给大家详细介绍一下Axure RP9软件的界面布局及相关基础功能,希望大家学习之后能够有所收获!🌈 前期回顾: YOLOv5论文作图教程(1)— 软件介绍及下载安装(包括软件包+下载安…

数据仓库工具箱-零售业务

文章目录 一、维度模型设计的4步过程1.1 第一步&#xff1a;选择业务过程1.2 第二步&#xff1a;声明粒度1.3 第三步&#xff1a;确定维度1.4 第四步&#xff1a;确定事实 二、零售业务案例研究2.1 第一步&#xff1a;选择业务过程2.2 第二步&#xff1a;声明粒度2.3 第三步&am…

2022最新版-李宏毅机器学习深度学习课程-P34 自注意力机制类别总结

在课程的transformer视频中&#xff0c;李老师详细介绍了部分self-attention内容&#xff0c;但是self-attention其实还有各种各样的变化形式&#xff1a; 一、Self-attention运算存在的问题 在self-attention中&#xff0c;假设输入序列&#xff08;query&#xff09;长度是N…

Unity Input System最简单使用

开始学的是 Input Manager 比较好理解&#xff0c;Input System却不好理解&#xff0c;教程也找了很多&#xff0c;感觉都讲的不清楚&#xff0c;我这里做一个最简单的用 Input System 添加鼠标左键和右键的效果。 1. 安装 Input System 包 首先这个功能不是内置的&#xff0…

使用命令进行把新代码上传到git上

步骤1&#xff1a;创建远程仓库 首先&#xff0c;我们需要在一个远程Git仓库中保存我们的代码。这可以是像GitHub、GitLab或Gitee这样的托管服务&#xff0c;也可以是您自己搭建的Git服务器。 在您选择的托管服务上创建一个新的空白仓库。获得远程仓库的URL&#xff0c;因为您…

20个CSS面试题和答案的示例

什么是盒模型&#xff1f;它有哪些部分组成&#xff1f; 答&#xff1a;盒模型是指在网页布局过程中&#xff0c;每个元素都被描绘成一个矩形框&#xff0c;这个矩形框由内容区、内边距、边框和外边距组成。 请解释CSS的层叠顺序&#xff08;Specificity&#xff09;是什么&am…

MATLAB画图由于线段太多导致导出图片模糊的解决办法

Matlab画图如果figure内的线条过多&#xff0c;或者散点过多&#xff0c;导出的图片会模糊&#xff0c;解决方案 解决方法就在于figure的导出设置中。 在设置的渲染选项中&#xff0c;渲染器有两个&#xff0c;分别为painters和OpenGL&#xff0c;分别为矢量格式输出和位图输出…

【mongoose】mongoose 基本使用

1. 连接数据库 // 1. 安装 mongoose // 2. 导入 mongoose const mongoose require(mongoose) // 3. 连接 mongodb 服务 mongoose.connect(mongodb://127.0.0.1:27017/xx_project) // 4. 设置回调 .on 一直重复连接 .once 只连接一次 mongoose.connection.on(open, () >…

STA——绪论

一、概述 静态时序分析&#xff08;简称STA&#xff09;是用来验证数字设计时序的技术之一&#xff0c;另外一种验证时序的方法是时序仿真&#xff0c;时序仿真可以同时验证功能和时序。“时序分析”这个术语就是用来指代“静态时序分析“或”时序仿真“这两种方法之一&#xf…

MapReduce性能优化之小文件问题和数据倾斜问题解决方案

文章目录 MapReduce性能优化小文件问题生成SequenceFileMapFile案例 &#xff1a;使用SequenceFile实现小文件的存储和计算 数据倾斜问题实际案例 MapReduce性能优化 针对MapReduce的案例我们并没有讲太多&#xff0c;主要是因为在实际工作中真正需要我们去写MapReduce代码的场…