奇怪的错误记录

https://github.com/meta-llama/llama3/issues/80

读模型没问题,推理时出现:
RuntimeError: “triu_tril_cuda_template” not implemented for ‘BFloat16’

————————————————

事发原因

我尝试了解transformers的AutoProcessor时,它提示我:
RuntimeError: Failed to import transformers.models.auto.processing_auto because of the following error (look up to see its traceback):
Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.8 and torchvision has CUDA Version=11.7. Please reinstall the torchvision that matches your PyTorch install.
说我torch和torchvision的cuda版本对不上?我当初是按Pytorch安装的啊。。。

我的torch 版本如下:
torch 2.0.0+cu118
torchaudio 2.0.1
torchvision 0.15.1

很怪,俩后面确实没跟cu118字样。所以我找pytorch官方网站又下了一次:
pip install torch2.0.0 torchvision0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

这回对了。我只卸载了torchvision,所以torchaudio没有更新。
torch 2.0.0+cu118
torchaudio 2.0.1
torchvision 0.15.1+cu118

此时就出现了最前面的错误。

————————

暂时的补救方法

我读的是qwen1.5 7B,设置torch_dtype=torch.bfloat16。把bfloat16改成torch_dtype=torch.float16后, 就能推理了。或者把torchvision退回普通版本。
但是torch.float16和torch.bfloat16是完全不同的两个东西,就这么换了,不对劲啊。。。

——————————————

最好的补救方法

使用torch_dtype=“auto”,transformers会自动使用bfloat16.
我还做了一些观察,在不同条件下打印model.config:

  1. 我用Autoconfig使用qwen自带的config文件送到AutoModelForCausalLM.from_pertrained里,显示用bfloat16,实际耗了float32的空间。
  2. 设置torch_dtype=torch.float16,耗费16的空间,显示用的float16.
  3. 设置torch_dtype=“auto”,耗费16的空间,显示bfloat16.

唉,太啥比了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/44031.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

感应触摸芯片集成为MCU,深度应用触控按键技术的VR眼镜

VR(Virtual Reality)即虚拟现实,简称VR,其具体内涵是综合利用计算机图形系统和各种现实及控制等接口设备,在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。它的工作原理是将左右眼图像交互显示在屏幕上的方式…

技术速递|宣布为 .NET 升级助手提供第三方 API 和包映射支持

作者:Marco Goertz 排版:Alan Wang .NET 升级助手是一个 Visual Studio 扩展和命令行工具,可帮助您将应用从之前的 .NET 和 .NET Framework 升级到最新版本的 .NET。正如我们在之前的文章中所描述的那样,它为升级 Microsoft 库和框…

技术总结(1)——方向与成长思考

不知不觉已经发了30篇技术博客,本来最开始想的是回顾自己的技术生涯,怎样做到失败的生涯,但是后面发现,开始逐步写技术博客,慢慢的开始沉浸里面这种回顾技术的感觉。做技术的人通常不喜欢研究市场,而做市场…

模型剪枝知识点整理

模型剪枝知识点整理 剪枝是深度学习模型优化的两种常见技术,用于减少模型复杂度和提升推理速度,适用于资源受限的环境。 剪枝(Pruning) 剪枝是一种通过移除模型中不重要或冗余的参数来减少模型大小和计算量的方法。剪枝通常分为…

编程是学什么:探索编程世界的四大核心领域

编程是学什么:探索编程世界的四大核心领域 在数字化时代的浪潮中,编程已成为一项重要的技能。但很多人对于编程的学习内容仍然感到困惑,那么,编程究竟是学什么呢?本文将从四个方面、五个方面、六个方面和七个方面&…

探索TASKCTL和 DataStage 的ETL任务调度协同

在复杂多变的企业环境中,高效、准确的数据处理是支撑业务决策与运营的核心。本文将深入探讨任务调度平台TASKCTL与ETL工具DataStage的深度融合,通过详尽的代码示例、结合细节以及实际案例的具体描述,展示这两个工具如何携手打造企业数据处理生…

Xcode构建设置自定义:打造个性化的编译环境

标题:Xcode构建设置自定义:打造个性化的编译环境 在软件开发过程中,根据不同的开发阶段和需求,经常需要调整编译设置以优化构建过程。Xcode作为苹果官方的集成开发环境(IDE),提供了丰富的自定义…

简述 Java 内存模型(JMM),特别是堆与栈的区别?

Java内存模型(JMM)是Java平台定义的一种多线程之间的通信规范,它确保了在不同的线程之间能够正确地共享和协调对内存的访问。 JMM的关键目标是解决并发编程中的可见性、原子性和有序性问题。 简单来说,它规定了如何在硬件内存、…

【C语言】 —— 预处理详解(下)

【C语言】 —— 预处理详解(下) 前言七、# 和 \##7.1 # 运算符7.2 ## 运算符 八、命名约定九、# u n d e f undef undef十、命令行定义十一、条件编译11.1、单分支的条件编译11.2、多分支的条件编译11.3、判断是否被定义11.4、嵌套指令 十二、头文件的包…

浅层神经网络示例

输出层采用sigmoid激活,隐藏层采用tanh激活 import h5py import numpy as npfrom project_02.code.planar_utils import load_planar_dataset, plot_decision_boundarydef sigmoid(z):s 1 / (1 np.exp(-z))return sdef init_parameters(n_x, n_h, n_y):"&qu…

如何在 Objective-C 中实现多态性,并且它与其他面向对象编程语言的多态性实现有何差异?

在Objective-C中,多态性可以通过使用父类的指针来调用子类的方法来实现。具体来说,可以定义一个父类的指针,然后将子类的实例赋值给这个指针。这样,即使使用父类的指针来调用方法,实际上会调用子类的方法。 需要注意的…

Day1每日编程题日记:数字统计、两个数组的交集、点击消除

前言:该篇用于记录自看。曾回看昨天的做题代码,竟然会觉得陌生,这竟然是我写的,细细读了一下,原来我当时是这么想的。因此我觉得记代码没有实际用处,重点是领悟了思想,这样子代码就在心中&#…

HashMap----源码解读

源码分析&#xff1a; public class HashMap<K,V> extends AbstractMap<K,V>implements Map<K,V>, Cloneable, Serializable 在类的开头声明了几个常量&#xff0c;以下是较为重要的&#xff1a; /*** 定义初始容量大小为16*/ static final int DEFAULT_I…

探索【Python面向对象】编程:新时代的高级编程范式详解

目录 1. 面向对象编程概念&#xff08;OOP&#xff09; 1.1 什么是类和对象&#xff1f; 1.2 类的定义 1.3 类和对象的关系 1.4 小李的理解 2. 抽象 2.1 抽象的概念 2.2 抽象类和方法 2.3 小李的理解 3. 类和实例 3.1 类的定义和实例化 3.2 类的属性和方法 3.3 小…

如何使用Python在企业微信中发送测试结果?操作看这里!

在日常的自动化测试工作中&#xff0c;一般会需要把测试结果同步到工作群里&#xff0c;方便信息同步。那么我们今天就使用企业微信和Pythonrequests库来演示一下具体如何操作吧&#xff01; 01 准备 开始之前&#xff0c;我们应该确保已经安装了python环境&#xff0c;并且要…

DNS知识点

📑打牌 : da pai ge的个人主页 🌤️个人专栏 : da pai ge的博客专栏 ☁️宝剑锋从磨砺出,梅花香自苦寒来 ​ 目录 一、DNS概念 二 hosts 文件 三 DNS优缺点 三 客户端域名解析顺序(优先级)…

8.9分王者“水刊”!1区IEEE-Trans,国人主编坐镇!发文量2倍增长,扩刊趋势明显!

关注GZH【欧亚科睿学术】&#xff0c;第一时间了解最新期刊动态&#xff01; 本期&#xff0c;小编给大家推荐的是一本IEEE旗下王者“水刊”。该期刊目前处于扩刊状态&#xff0c;接收跨学科领域&#xff0c;领域认可度高&#xff0c;还可选择非OA模式无需版面费&#xff0c;是…

PPTP、L2TP、IPSec、IPS 有什么区别?

随着互联网的发展&#xff0c;保护网络通信的安全越来越重要。PPTP、L2TP、IPSec、IPS是常见的网络安全协议和技术&#xff0c;在保护网络通信安全方面发挥着不同的作用和特点。下面介绍PPTP、L2TP、IPSec、IPS之间的区别。 点对点隧道协议&#xff08;PPTP&#xff09;是一种用…

对素数的一种新理解

素数是除了1和它自身没有其它因数的自然数&#xff08;不包括1&#xff09;。素数被认为是自然数的基础&#xff0c;就像自然界的原子一样&#xff0c;可以通过若干个素数的乘积表示所有大于1的自然数&#xff0c;而且这种表示是唯一的&#xff08;不考虑素数的顺序&#xff09…

HTTP协议分析/burp/goby/xray

一、HTTP简介 HTTP(超文本传输协议)是今天所有web应用程序使用的通信协议。最初&#xff0c;HTTP只是一个为获取基于文本的静态资源而开发的简单协议&#xff0c;后来人们以名种形式扩展和利用它.使其能够支持如今常见的复杂分布式应用程序。HTTP使用一种用于消息的模型:客户端…