[Bug]使用Transformers 微调 Whisper出现版本不兼容的bug

错误的现象


ImportError Traceback (most recent call last)
<ipython-input-20-6958d7eed552> in ()
        from transformers import Seq2SegTrainingArguments
        training_args = Seq2SeqTrainingArguments(
                output_dir="./whisper-small-hi", # change to a repo name of your choice
                per_device_train_batch_size=16,

/usr/local/lib/python3.1o/dist-packages/transformers/training_args-py in_setup_devices(self)
        if not is_sagemaker_mp_enabled():
                if notis_accelerate_available():
                        raise ImportError(
                                f"Using the`Trainer`with^PyTorch`requires `accelerate>={ACCELERATE_MIN_VERSION}`:"
                                "please run `pip install transformers[torch]` or `pip install accelerate -U` 


ImportError: Using the^Trainer` with `PyTorch` requires `accelerate>=0.21.0`: Please run `pip install transformers[torch]` or `pip install accelerate -U`

原因分析

看上去accelerate包的依赖没有导入,或者是版本不太匹配。

我先按照他的建议执行了

pip install transformers[torch]

pip install accelerate -U

这两个命令,但是都不管用。

分析一下提到的每个包的作用

transformers

accelerate

PyTorch

依赖分析结果是

accelerate 来管理 transformers 模型的分布式训练和混合精度训练,他们都依赖PyTorch 来执行底层操作。

OK,一步步尝试吧

尝试解决

我做了多次尝试如下,


import transformers
import accelerate
import torchaccelerate.__version__,transformers.__version__,torch.__version__
('0.30.1', '4.42.0.dev0', '2.3.0+cu121')
('0.30.1', '4.41.2', '2.3.0+cu121')
('0.21.0', '4.41.2', '2.3.0+cu121')

经过多次尝试,最后一次的版本好能走通。

新问题

下一步的时候又有新错误:

from transformers import Seq2SeqTrainertrainer = Seq2SeqTrainer(args=training_args,model=model,train_dataset=common_voice["train"],eval_dataset=common_voice["test"],data_collator=data_collator,compute_metrics=compute_metrics,tokenizer=processor.feature_extractor,
)
TypeError                                 Traceback (most recent call last)
<ipython-input-26-ec450b16962e> in <cell line: 3>()1 from transformers import Seq2SeqTrainer2 
----> 3 trainer = Seq2SeqTrainer(4     args=training_args,5     model=model,
/usr/local/lib/python3.10/dist-packages/transformers/trainer.py in create_accelerator_and_postprocess(self)4533 4534         # create accelerator object
-> 4535         self.accelerator = Accelerator(**args)4536         # some Trainer classes need to use `gather` instead of `gather_for_metrics`, thus we store a flag4537         self.gather_function = self.accelerator.gather_for_metricsTypeError: Accelerator.__init__() got an unexpected keyword argument 'use_seedable_sampler'

最终可用版本

重新尝试了下面新的依赖:

!pip install torch==2.2.0
!pip install accelerate==0.27.2

('0.27.2', '4.41.2', '2.3.0+cu121')

终于成功了!

注意,每次尝试新的版本,都要重启启动整个计算资源,这样新的版本才会生效,建议最上面导入资源的时候指定版本

哎,这玩意真难啊,本来版本不会是太大的问题,奈何菜鸟碰到的问题多啊!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/23984.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【全开源】防伪溯源一体化管理系统源码(FastAdmin+ThinkPHP+Uniapp)

&#x1f50d;防伪溯源一体化管理系统&#xff1a;守护品质&#xff0c;追溯无忧 一款基于FastAdminThinkPHP和Uniapp进行开发的多平台&#xff08;微信小程序、H5网页&#xff09;溯源、防伪、管理一体化独立系统&#xff0c;拥有强大的防伪码和溯源码双码生成功能&#xff0…

从零开始学JAVA

一、编写Hello world程序 public class JavaMain1 {//主程序执行入口&#xff0c;main方法public static void main(String[] args){System.out.println("Hello world!");} } 运行结果 Hello world! java编写主程序常见错误&#xff1a; 1、System ---首字母没有…

使用Aspose技术将Excel转换为PDF

简介&#xff1a;本文将介绍如何使用Aspose技术将Excel文件转换为PDF格式。我们将使用Aspose-Cells-8.5.2.jar包&#xff0c;并演示Java代码以及进行测试。 一、Aspose技术概述 Aspose是一款强大的文档处理库&#xff0c;支持多种编程语言&#xff0c;如Java、C#、Python等。…

ssh 樹梅派RaspberryPi eMMC版本

安裝rpi 2204的desktop版本&#xff0c;在boot根目錄添加一個ssh的文件&#xff0c;不知道爲什麼還是不能ssh 參考以下博客的方法後可以ssh了 https://idminer.gitbook.io/robotis/part-1-turtlebot3/24.-faq/24.1.-ru-he-zai-raspberry-pi-shu-mei-pai-qi-dong-ssh-server …

工程力学 - 课程导论

工程力学是工程学科中的核心基础课程&#xff0c;专注于研究物体在外力作用下的运动规律和受力情况。它涵盖了静力学、运动学、动力学和材料力学等关键领域&#xff0c;为工程结构的安全性、稳定性和功能性提供理论支撑。通过理论分析、实验测定和计算机模拟等方法&#xff0c;…

node.js安装包

安装地址&#xff1a;Node.js — Run JavaScript Everywhere 链接&#xff1a;https://pan.baidu.com/s/1c7gCEt46HA0yt-EZeu5iFA 提取码&#xff1a;yfbq

【GlobalMapper精品教程】084:tif(tfw)、jpg(jgw)、png(pgw)的区别与联系

文章目录 一、tif(tfw)、jpg(jgw)、png(pgw)简介二、tif(tfw)、jpg(jgw)、png(pgw)生成1. ArcGIS中生成2. Globalmapper中生成一、tif(tfw)、jpg(jgw)、png(pgw)简介 tif(tfw)、jpg(jgw)、png(pgw)文件原理相同,以tfw为例来说明。 TFW(TIFF World File)…

MyEclipse新手使用介绍

目录 1.MyEclipse诞生背景 2.作用 3.版本历史 4.优缺点 5.应用场景 6.如何使用 6.1.下载与安装 6.2.MyEclipse 菜单及其菜单项 7.创建和发布一个 Java 程序 7.1.创建 Java 程序 7.2.发布 Java 程序 8.示例 8.1. Hello World 示例 8.2. 简单Spring Boot 应用 8.3…

SpringBoot实现发送邮件功能

目录 一、开启邮件服务 二、导入pom依赖 三、配置yml文件 四、发送邮件 4.1、发送文字邮件 4.2、发送html邮件 4.3、发送附件邮件 4.4、发送图片邮件 一、开启邮件服务 这里拿QQ邮箱举例。 翻到下面进行开启,之后获取授权码。 二、导入pom依赖 <dependency><…

问题:明朝统辖西域的主要措施有( )(2.0分) (多选题) #学习方法#微信#经验分享

问题&#xff1a;明朝统辖西域的主要措施有( )(2.0分) (多选题) A.设立哈密卫 B.册封各地的首领 C.都护统领 D.布局要地 参考答案如图所示

any和unknown有何区别

在TypeScript&#xff08;TS&#xff09;中&#xff0c;any和unknown都是用来表示类型的一种方式&#xff0c;但它们在类型安全性和使用场景上有着显著的区别。以下是关于any和unknown的详细区别&#xff1a; 类型安全性&#xff1a; any类型&#xff1a;它表示任何类型&#…

为什么说国产大模型的野心,都藏在 MaaS 的生态中

2016 年 4 月&#xff0c;在一场由 IDG 主办的行业峰会上。 IDG 创始董事长熊晓鸽&#xff0c;刚刚盘点完 IDG 深耕中国企业服务多年的成果&#xff0c;台下&#xff0c;GE 中国公司 CEO 便发出了不合时宜的灵魂一问&#xff1a; 「中国有很多伟大的公司&#xff0c;也有很多…

深度评价GPT-4o:探索人工智能的新里程碑

在人工智能领域&#xff0c;OpenAI的GPT系列自推出以来就备受瞩目。GPT-4o作为该系列的最新版本&#xff0c;无疑是迄今为止最为强大的一代。它不仅在技术性能上有了质的飞跃&#xff0c;而且在应用的广泛性和深度上都展现出了惊人的潜力。本文将从版本对比、技术能力、使用体验…

用大模型实现PPT可视化几种思路

https://zhuanlan.zhihu.com/p/700685802 背景 前面一篇文章已经介绍了如何根据用户输入&#xff0c;用大模型实现内容检索、分析、脑图可视化的链路。然而往往投研团队需要针对重要新闻做组内分析解读&#xff0c;需要用ppt的方式来展现&#xff1b;那么优美可能让大模型直…

java 通过接口下载excel并转实体类工具类

java 通过接口下载excel并转实体类工具类 依赖 <dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>2.2.6</version></dependency>工具类 import com.alibaba.excel.EasyExcel; import …

161-配置nginx正向代理

为了允许所有请求通过Nginx的正向代理&#xff0c;您需要确保Nginx配置正确&#xff0c;并且能够处理各种请求。您的配置中需要一些调整以确保Nginx能够正确解析请求并代理它们。 以下是调整后的Nginx配置示例&#xff1a; Nginx 配置示例 server {listen 8888;server_name …

[office] 如何才能用EXCEL打开dat文件- #微信#学习方法

如何才能用EXCEL打开dat文件? 方法&#xff1a; 1、打开EXCEL软件&#xff1b; 2、文件&#xff0c;打开&#xff0c;选择要转化的DAT文件&#xff1b; 3、在弹出的向导文件&#xff08;步骤1&#xff09;中&#xff0c;选择合适的文件类型&#xff08;按预览选择&#xf…

shell:dd命令使用详解

1、介绍 dd命令是一款在Unix和类Unix系统中常用的命令行工具&#xff0c;用于转换和复制文件或块设备。 用指定大小的块拷贝一个文件&#xff0c;并在拷贝的同时进行指定的转换。 该命令提供了很多的参数选项&#xff0c;使用户可以根据需要执行各种复制或转换操作。下面详细…

充电桩,未来出行的绿色引擎

随着新能源时代的到来&#xff0c;充电桩早已不再是一个陌生的词汇&#xff0c;它正在成为我们生活中不可或缺的一部分。 它不仅仅是一个简单的充电设备&#xff0c;更是未来出行的绿色引擎&#xff0c;驱动着我们的汽车&#xff0c;也驱动着这个时代的绿色梦想。 想象一下&am…

leetcode 9 回文数

给你一个整数 x &#xff0c;如果 x 是一个回文整数&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 回文数是指正序&#xff08;从左向右&#xff09;和倒序&#xff08;从右向左&#xff09;读都是一样的整数。 例如&#xff0c;121 是回文&#xff0c;而…