【Transformer-Hugging Face手册 07/10】 微调预训练模型

微调预训练模型

一、说明

   使用预训练模型有显着的好处。它可以降低计算成本和碳足迹,并允许您使用最先进的模型,而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时,您可以在特定于您的任务的数据集上对其进行训练。这被称为微调,是一种非常强大的训练技术。在本教程中,您将使用您选择的深度学习框架微调预训练模型:

  •    使用 🤗 Transformers Trainer微调预训练模型。
  •    使用 Keras 微调 TensorFlow 中的预训练模型。

二、在本机 PyTorch 中微调预训练模型。

   在微调预训练模型之前,请下载数据集并准备进行训练。之前的教程向您展示了如何处理训练数据,现在您有机会测试这些技能!

2.1 加载数据

   首先加载Yelp 评论数据集:

 from datasets import load_dataset
dataset = load_dataset("yelp_review_full")
dataset["train"][100] 

{‘label’: 0,
‘text’: ‘My expectations for McDonalds are t rarely high. But for one to still fail so spectacularly…that takes something special!\nThe cashier took my friends’s order, then promptly ignored me. I had to force myself in front of a cashier who opened his register to wait on the person BEHIND me. I waited over five minutes for a gigantic order that included precisely one kid’s meal. After watching two people who ordered after me be handed their food, I asked where mine was. The manager started yelling at the cashiers for \“serving off their orders\” when they didn’t have their food. But neither cashier was anywhere near those controls, and the manager was the one serving food to customers and clearing the boards.\nThe manager was rude when giving me my order. She didn’t make sure that I had everything ON MY RECEIPT, and never even had the decency to apologize that I felt I was getting poor service.\nI’ve eaten at various McDonalds restaurants for over 30 years. I’ve worked at more than one location. I expect bad days, bad moods, and the occasional mistake. But I have yet to have a decent experience at this store. It will remain a place I avoid unless someone in my party needs to avoid illness from low blood sugar. Perhaps I should go back to the racially biased service of Steak n Shake instead!’}

   正如您现在所知,您需要一个分词器来处理文本,并包含填充和截断策略来处理任何可变序列长度。要一步处理数据集,请使用 🤗 Datasetsmap方法对整个数据集应用预处理函数:

 from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
def tokenize_function(examples):return tokenizer(examples["text"], padding="max_length", truncation=True)
tokenized_datasets = dataset.map(tokenize_function, batched=True)

如果您愿意,您可以创建完整数据集的较小子集进行微调以减少所需的时间:

small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

2.2 训练

   此时,您应该按照与您要使用的框架相对应的部分进行操作。您可以使用右侧边栏中的链接跳转到您想要的链接 - 如果您想隐藏给定框架的所有内容,只需使用该框架块右上角的按钮即可!

2.2.1 使用 PyTorch Trainer 进行训练

   Transformers 提供了针对训练Transformers 模型进行优化的Trainer类,让您可以更轻松地开始训练,而无需手动编写自己的训练循环。 Trainer API 支持多种训练选项和功能,例如日志记录、梯度累积和混合精度。

   首先加载模型并指定预期标签的数量。从 Yelp Review数据集卡中,您知道有五个标签:

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

   您将看到有关未使用某些预训练权重以及某些权重被随机初始化的警告。别担心,这是完全正常的! BERT 模型的预训练头被丢弃,并替换为随机初始化的分类头。您将在序列分类任务中微调这个新模型头,将预训练模型的知识传递给它。

2.3 训练超参数

   接下来,创建一个TrainingArguments类,其中包含您可以调整的所有超参数以及用于激活不同训练选项的标志。对于本教程,您可以从默认的训练超参数开始,但请随意尝试这些参数以找到最佳设置。

   指定保存训练检查点的位置:

from transformers import TrainingArguments
training_args = TrainingArguments(output_dir="test_trainer")

2.4 评价

   Trainer在训练期间不会自动评估模型性能。您需要向Trainer传递一个函数来计算和报告指标。 🤗 Evaluate库提供了一个简单的accuracy函数,您可以使用evaluate.load(有关更多信息,请参阅此快速教程)函数加载:

import numpy as np
import evaluate
metric = evaluate.load("accuracy")

   呼吁compute计算metric您的预测的准确性。在将预测传递给 之前compute,您需要将 logits 转换为预测(记住所有 Transformers 模型都返回 logits):

def compute_metrics(eval_pred):logits, labels = eval_predpredictions = np.argmax(logits, axis=-1)return metric.compute(predictions=predictions, references=labels)

   如果您想在微调期间监控评估指标,请evaluation_strategy在训练参数中指定参数以在每个周期结束时报告评估指标:

from transformers import TrainingArguments, Trainer
training_args = TrainingArguments(output_dir="test_trainer", evaluation_strategy="epoch")

2.5 训练类

   使用您的模型、训练参数、训练和测试数据集以及评估函数创建一个Trainer对象:

trainer = Trainer(model=model,args=training_args,train_dataset=small_train_dataset,eval_dataset=small_eval_dataset,compute_metrics=compute_metrics,)

   然后通过调用train()微调您的模型:

trainer.train()

三、使用 Keras 训练 TensorFlow 模型

   您还可以使用 Keras API 在 TensorFlow 中训练 🤗 Transformers 模型!

3.1 为 Keras 加载数据

   当您想要使用 Keras API 训练 🤗 Transformers 模型时,您需要将数据集转换为 Keras 理解的格式。如果您的数据集很小,您可以将整个数据转换为 NumPy 数组并将其传递给 Keras。在做任何更复杂的事情之前,让我们先尝试一下。

   首先,加载数据集。我们将使用GLUE 基准测试中的 CoLA 数据集,因为它是一个简单的二进制文本分类任务,并且现在只进行训练分割。

from datasets import load_datasetdataset = load_dataset("glue", "cola")
dataset = dataset["train"]  # Just take the training split for now

   接下来,加载分词器并将数据分词为 NumPy 数组。请注意,标签已经是 0 和 1 的列表,因此我们可以直接将其转换为 NumPy 数组,而无需标记化!

from transformers import AutoTokenizertokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
tokenized_data = tokenizer(dataset["sentence"], return_tensors="np", padding=True)
# Tokenizer returns a BatchEncoding, but we convert that to a dict for Keras
tokenized_data = dict(tokenized_data)labels = np.array(dataset["label"])  # Label is already an array of 0 and 1

   最后,加载 、compile和fit模型。请注意,Transformers 模型都有一个默认的与任务相关的损失函数,因此您不需要指定一个,除非您想要:

from transformers import TFAutoModelForSequenceClassification
from tensorflow.keras.optimizers import Adam# Load and compile our model
model = TFAutoModelForSequenceClassification.from_pretrained("bert-base-cased")
# Lower learning rates are often better for fine-tuning transformers
model.compile(optimizer=Adam(3e-5))  # No loss argument!model.fit(tokenized_data, labels)

   当您使用模型时,您不必向模型传递损失参数compile()!如果此参数留空,Huging Face 模型会自动选择适合其任务和模型架构的损失。如果您愿意,您始终可以通过自己指定损失来覆盖此设置!

   这种方法对于较小的数据集非常有效,但对于较大的数据集,您可能会发现它开始成为问题。为什么?因为标记化数组和标签必须完全加载到内存中,并且因为 NumPy 不处理“锯齿状”数组,所以每个标记化样本都必须填充到整个数据集中最长样本的长度。这将使您的数组变得更大,并且所有这些填充令牌也会减慢训练速度!

3.2 将数据加载为 tf.data.Dataset

   如果您想避免减慢训练速度,可以改为加载数据tf.data.Dataset。尽管您可以tf.data根据需要编写自己的 管道,但我们有两种方便的方法来执行此操作:

   prepare_tf_dataset():这是我们在大多数情况下推荐的方法。因为它是模型上的一种方法,所以它可以检查模型以自动找出哪些列可用作模型输入,并丢弃其他列以创建更简单、性能更高的数据集。
to_tf_dataset:此方法更加底层,当您想要通过准确指定要包含哪些columns和label_cols来精确控制数据集的创建方式时非常有用。
   在使用prepare_tf_dataset()之前,您需要将分词器输出作为列添加到数据集,如以下代码示例所示:

def tokenize_dataset(data):# Keys of the returned dictionary will be added to the dataset as columnsreturn tokenizer(data["text"])
dataset = dataset.map(tokenize_dataset)

   请记住,拥抱脸部数据集默认存储在磁盘上,因此这不会增加您的内存使用量!添加列后,您可以从数据集中流式传输批次并向每个批次添加填充,与填充整个数据集相比,这大大减少了填充标记的数量。

tf_dataset = model.prepare_tf_dataset(dataset["train"], batch_size=16, shuffle=True, tokenizer=tokenizer)

   请注意,在上面的代码示例中,您需要传递标记生成器,prepare_tf_dataset以便它可以在加载批次时正确填充批次。如果数据集中的所有样本长度相同并且不需要填充,则可以跳过此参数。如果您需要做一些比填充样本更复杂的事情(例如,破坏掩码语言建模的标记),您可以使用参数collate_fn来传递一个函数,该函数将被调用以将样本列表转换为批处理并应用您需要的任何预处理想。请参阅我们的 示例或 笔记本来了解这种方法的实际效果。

   创建 后tf.data.Dataset,您可以像以前一样编译并拟合模型:

model.compile(optimizer=Adam(3e-5))  # No loss argument!
model.fit(tf_dataset)

   Trainer负责训练循环,并允许您在一行代码中微调模型。对于喜欢编写自己的训练循环的用户,您还可以在本机 PyTorch 中微调 🤗 Transformers 模型。

   此时,您可能需要重新启动笔记本或执行以下代码来释放一些内存:

del model
del trainer
torch.cuda.empty_cache()

   接下来,手动进行后处理tokenized_dataset以准备训练。

   删除该text列,因为模型不接受原始文本作为输入:

 tokenized_datasets = tokenized_datasets.remove_columns([ "text" ])

   将列重命名label为 ,labels因为模型期望将参数命名为labels:

 tokenized_datasets = tokenized_datasets.rename_column( "标签" , "标签" )

   设置数据集的格式以返回 PyTorch 张量而不是列表:

 tokenized_datasets.set_format( "pytorch" )

   然后创建数据集的较小子集(如前所示)以加快微调速度:

small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

3.3 数据加载器

   为您的训练和测试数据集创建一个DataLoader,以便您可以迭代批量数据:

from torch.utils.data import DataLoader
train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8)
eval_dataloader = DataLoader(small_eval_dataset, batch_size=8)

   使用预期标签数量加载模型:

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

3.4 优化器和学习率调度器

   创建优化器和学习率调度器来微调模型。让我们使用AdamWPyTorch 的优化器:

from torch.optim import AdamW
optimizer = AdamW(model.parameters(), lr=5e-5)

   从 Trainer 创建默认学习率调度程序:

from transformers import get_schedulernum_epochs = 3
num_training_steps = num_epochs * len(train_dataloader)
lr_scheduler = get_scheduler(name="linear", optimizer=optimizer, num_warmup_steps=0, num_training_steps=num_training_steps
)

   最后,如果您有权使用 GPU,请指定使用 GPU 的设备。否则,CPU 上的训练可能需要几个小时而不是几分钟。

import torchdevice = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
model.to(device)

   如果您没有像Colaboratory或SageMaker StudioLab这样的托管笔记本,可以免费访问云 GPU 。

3.5 训练循环

   要跟踪您的训练进度,请使用tqdm库在训练步骤数上添加进度条:

from tqdm.auto import tqdmprogress_bar = tqdm(range(num_training_steps))model.train()
for epoch in range(num_epochs):for batch in train_dataloader:batch = {k: v.to(device) for k, v in batch.items()}outputs = model(**batch)loss = outputs.lossloss.backward()optimizer.step()lr_scheduler.step()optimizer.zero_grad()progress_bar.update(1)

3.6 评价

   就像您向Trainer添加评估函数一样,您在编写自己的训练循环时也需要执行相同的操作。但这次您将累积所有批次并在最后计算指标,而不是在每个时期add_batch结束时计算和报告指标。

import evaluatemetric = evaluate.load("accuracy")
model.eval()
for batch in eval_dataloader:batch = {k: v.to(device) for k, v in batch.items()}with torch.no_grad():outputs = model(**batch)logits = outputs.logitspredictions = torch.argmax(logits, dim=-1)metric.add_batch(predictions=predictions, references=batch["labels"])metric.compute()

四、结论

   本篇基本上描绘了如何实现微调,更多微调示例请参考:

🤗 Transformers Examples包括在 PyTorch 和 TensorFlow 中训练常见 NLP 任务的脚本。

🤗 Transformers Notebooks包含有关如何针对 PyTorch 和 TensorFlow 中的特定任务微调模型的各种笔记本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/674408.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器人运动学林沛群——旋转矩阵

旋转矩阵 基本概念 三个主轴,可以看作是三个向量,为b在a的表达,以a为基准 旋转矩阵 B相对于A的姿态: B A R [ A X B ^ A Y B ^ A Z B ^ ] [ X ^ B ⋅ X ^ A Y ^ B ⋅ X ^ A Z ^ B ⋅ X ^ A X ^ B ⋅ Y ^ A Y ^ B ⋅ Y ^ A Z …

牛客网SQL264:查询每个日期新用户的次日留存率

官网链接: 牛客每个人最近的登录日期(五)_牛客题霸_牛客网牛客每天有很多人登录,请你统计一下牛客每个日期新用户的次日留存率。 有一个登录(login。题目来自【牛客题霸】https://www.nowcoder.com/practice/ea0c56cd700344b590182aad03cc61b8?tpId82 …

C语言笔试题之实现C库函数 strstr()(设置标志位)

实例要求: 1、请你实现C库函数strstr()(stdio.h & string.h),请在 haystack 字符串中找出 needle 字符串的第一个匹配项的下标(下标从 0 开始);2、函数声明:int strStr(char* h…

聊聊PowerJob Server的高可用

序 本文主要研究一下PowerJob Server的高可用 PowerJobSpringWorker tech/powerjob/worker/PowerJobSpringWorker.java public class PowerJobSpringWorker implements ApplicationContextAware, InitializingBean, DisposableBean {/*** 组合优于继承,持有 Pow…

5G NR 信道号计算

一、5G NR的频段 增加带宽是增加容量和传输速率最直接的方法,目前5G最大带宽将会达到400MHz,考虑到目前频率占用情况,5G将不得不使用高频进行通信。 3GPP协议定义了从Sub6G(FR1)到毫米波(FR2)的5G目标频谱。 其中FR1是5G的核心频段&#xff0…

米贸搜|Facebook在购物季使用的Meta广告投放流程

一、账户简化 当广告系列开始投放后,每个广告组都会经历一个初始的“机器学习阶段”。简化账户架构可以帮助AI系统更快获得广告主所需的成效。例如: 每周转化次数超过50次的广告组,其单次购物费用要低28%;成功结束机器学习阶段的…

MySQL索引怎么提高查询的速度?

目录 一、MySQL介绍 二、什么是索引 三、为什么要用索引 四、索引如何提高查询速度 一、MySQL介绍 MySQL是一个开源的关系型数据库管理系统(RDBMS),它是目前最流行和广泛使用的数据库之一。MySQL由瑞典MySQL AB公司开发,并在…

NXP恩智浦电源管理芯片 PIMC VR5510 (配套S32G)芯片手册(I2C通信)-翻译版

文章目录 1. 基本概述2. 简化应用视图3. 特点4. 应用5. 订购信息6. 芯片内部区块视图7. Pin脚信息7.1 Pin 描述7.2 Pinning 8. 产品特性概述8.1 最大额定值8.2 电气特性8.3 操作范围8.4 热力范围8.5 EMC合规性8.6 功能状态图8.7 功能设备操作8.8 主要状态机8.9 深度故障安全状态…

PyTorch中基础模块torch的详细介绍

torch 是 PyTorch 库的核心模块,提供了以下关键功能: 张量(Tensor):类似于 NumPy 的 ndarray,但可以无缝地在 CPU 或 GPU 上运行,并且支持自动微分,是深度学习模型中数据的主要表示形…

帮写祝福、年味卡片,属于Mate X5 折叠屏手机的用户过年指南

怎样过一个舒心愉快的新年? 春运往返的漫漫旅途上,手机总是忠实陪伴我们打发那些无聊的时光——用Mate X5的悬停观影模式,相当于自带手机支架,解放你拿着零食的双手,旅途观影更快乐! 同时,此模…

Linux(Ubuntu)环境下安装卸载Python3(避免踩坑)

一、安装 第一步: 进入/usr/local/目录,下载Python3,这里我下载的是python 3.8.10,如果要下载其他版本改下链接中的版本号,需与官网版本号对应。 wget https://www.python.org/ftp/python/3.8.10/Python-3.8.10.tgz第…

Ubuntu安装SVN服务并结合内网穿透实现公网访问本地存储文件

🔥博客主页: 小羊失眠啦. 🎥系列专栏:《C语言》 《数据结构》 《C》 《Linux》 《Cpolar》 ❤️感谢大家点赞👍收藏⭐评论✍️ 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默&…

重装系统---首次安装java的JDK

1、去官网或者百度资源选择自己想要下载的jdk版本即可 2、 3、按照步骤安装即可,路径不要更改,默认c盘安装就好,避免后面发生错误。 4、打开电脑的设置,编辑环境变量 这是添加之后的效果 5、再新建一个系统环境变量 6、编辑环境变量Path 添

appium抓包总结

appium抓包总结 背景:有些app通过抓包工具charles等抓不到接口数据,应为这一类抓包工具只能抓到应用层的数据包,而某些app的接口是走的传输层协议,所以此时只能通过AppIUM工具来进行抓包。 1、Appium 是什么? Appium…

【Flink状态管理(二)各状态初始化入口】状态初始化流程详解与源码剖析

文章目录 1. 状态初始化总流程梳理2.创建StreamOperatorStateContext3. StateInitializationContext的接口设计。4. 状态初始化举例:UDF状态初始化 在TaskManager中启动Task线程后,会调用StreamTask.invoke()方法触发当前Task中算子的执行,在…

Netty中解决粘包/半包

目录 什么是TCP粘包半包? TCP 粘包/半包发生的原因 解决粘包半包 channelRead和channelReadComplete区别 什么是TCP粘包半包? 假设客户端分别发送了两个数据包 D1 和 D2 给服务端,由于服务端一次读取到的字节数是不确定的,故可…

STM32——FLASH(1)简单介绍、分类、读写流程及注意事项

文章目录 FLASH的特点Nor flash和nand flashflash的读写flash 的存储单位 flash的读写过程 FLASH的特点 可擦写数据可修改可重写访问速度<ROM Nor flash和nand flash Nor flash 1、与SDRAM相似&#xff0c;用户可以直接运行装载到NORFLASH里面的代码&#xff0c;减少SRAM…

Zoho Mail企业邮箱商业扩展第3部分:计算财务状况

在Zoho Mail商业扩展系列的压轴篇章中&#xff0c;王雪琳利用Zoho Mail的集成功能成功地完成了各项工作&#xff0c;并顺利地建立了自己的营销代理机构。让我们快速回顾一下她的成功之路。 一、使用Zoho Mail成功方法概述 首先她通过Zoho Mail为其电子邮件地址设置了自定义域…

js实现LFU算法

LFU LFU算法是最近最少使用次数算法&#xff0c;针对的是使用次数&#xff1b; 补充一点&#xff1a;对于相同使用次数应该需要加上时间戳&#xff0c;看他人实现LFU算法都没有考虑这一点。 本文通过全局nextId来表示第几次使用功能&#xff1b; class LFU {constructor(capa…

spring boot打完jar包后使用命令行启动,提示xxx.jar 中没有主清单属性

在对springBoot接口中间件开发完毕后&#xff0c;本地启动没有任何问题&#xff0c;在使用package命令打包也没异常&#xff0c;打完包后使用命令行&#xff1a;java -jar xxx.jar启动发现报异常&#xff1a;xxx.jar 中没有主清单属性&#xff0c;具体解决方法如下&#xff1a;…