一些意外的bug

类型一:安装包问题

1、包内部代码报错,如:某方法没有

检查版本:

python -> import 包名 -> 包名.__version__ -> 包名.__file__

若import 的包名与 pip安装的包的路径不一致,则copy过去

具体:

1、key llama error transformers问题,需安装4.28

2、deepspeed没有adam_cuda属性,需要安装0.8.3 (torch的版本要1.12.1的)

类型二:目录没有权限

sudo chmod 777 dir

sudo chmod 777 dir/* (目录下的文件负最大权限)

类型三、python使用版本不对 

sudo python与python用的不是同一个python

解决办法:

iii. sudo cp /usr/bin/python /usr/bin/python_bak
    iv. sudo rm /usr/bin/python
    v. sudo ln -s /opt/conda/bin/python /usr/bin/python

类型三、cpu与gpu上的半精度问题

def normalize(x, axis=-1):
    x = 1. * x / (torch.norm(x, 2, axis, keepdim=True).expand_as(x)+1e-12)
    return x

embed 目前在显卡上且是半精度

normalize(embed_f).cpu() 与 normalize(embed_f.cpu()) 的结果会不一样,后者会改变精度

解决办法:采用normalize(embed_f.cpu().float())

tips:这三种结果都有细微 的差别,只是normalize(embed_f.cpu())差别很明显

numpy与tensor 取值问题:

[str(i.item()) for i in normalize(embed_f[0]).cpu().numpy()]result:['0.02435302734375', '0.0052337646484375'][str(i) for i in normalize(embed_f[0]).cpu().numpy()]result:['0.02435', '0.005234']

cuda error:

RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

解决办法:python 前面加入CUDA_VISIBLE_DEVICES=3

llama1 加入这一串也能解决:

if tokenizer.pad_token is None:DEFAULT_PAD_TOKEN = "[PAD]"DEFAULT_EOS_TOKEN = "</s>"DEFAULT_BOS_TOKEN = "</s>"DEFAULT_UNK_TOKEN = "</s>"tokenizer.add_special_tokens({"eos_token": DEFAULT_EOS_TOKEN,"bos_token": DEFAULT_BOS_TOKEN,"unk_token": DEFAULT_UNK_TOKEN,"pad_token": DEFAULT_PAD_TOKEN,})tokenizer.add_eos_token = False

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/223953.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java学习之面向对象

一、面向对象 1、引入面向对象 方法中封装的是具体实现某一功能的代码&#xff0c;而通过书写一个拥有多个特定方法的类&#xff0c;来存放的就是一个又一个的方法。 方法都存放在类里面&#xff0c;当需要使用的时候&#xff0c;不用去找具体的方法&#xff0c;而是先找这个…

什么是前端响应式设计(responsive design)?如何实现响应式布局?

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 欢迎来到前端入门之旅&#xff01;感兴趣的可以订阅本专栏哦&#xff01;这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…

对 K8s 中的 NameSpace的ResourceList进行加减操作

背景 需要将命名空间内新家的STS所使用的配额自动加到NameSpace上&#xff0c; 就需要对NameSpace的ResourceList做加减操作 计算STS配额参考&#xff1a; https://blog.csdn.net/qq_21047625/article/details/134946922 将STS配额转为NameSpace的配额参考&#xff1a; https:…

Python: 列表元素的增加

append() 语法&#xff1a; append() 是 Python 中列表&#xff08;list&#xff09;对象的一个方法&#xff0c;用于在列表的末尾添加一个新元素。 item&#xff1a;要添加到列表末尾的元素。 返回值&#xff1a; append() 方法没有返回值&#xff0c;它直接修改了原始列…

2、快速搞定Kafka术语

快速搞定Kafka术语 Kafka 服务端3层消息架构 Kafka 客户端Broker 如何持久化数据小结 Kafka 服务端 3层消息架构 第 1 层是主题层&#xff0c;每个主题可以配置 M 个分区&#xff0c;而每个分区又可以配置 N 个副本。第 2 层是分区层&#xff0c;每个分区的 N 个副本中只能有…

Python库 sys 模块详解

Python 标准库 sys 模块详解​ Python sys 模块详解 1. 简介 “sys”即“system”&#xff0c;“系统”之意。该模块提供了一些接口&#xff0c;用于访问 Python 解释器自身使用和维护的变量&#xff0c;同时模块中还提供了一部分函数&#xff0c;可以与解释器进行比较深度的…

操作系统中的作业管理

从用户的角度看&#xff0c;作业是系统为完成一个用户的计算任务&#xff08;或一次事务处理&#xff09;所做的工作总和。例如&#xff0c;对于用户编制的源程序&#xff0c;需经过对源程序的编译、连接编辑或连接装入及运行产生计算结果。这其中的每一个步骤&#xff0c;常称…

国产化软件新浪潮: spring 改造替代...

中午看了篇《国产化软件新浪潮&#xff1a;jdk redis mysql tomcat nginx改造替代品及信创名录》 想给它补充个 spring 改造替代&#xff1a;&#xff09; 七、Spring 替代品 - Solon 生态 1、Java 新的生态级框架 从零开始构建&#xff0c;有自己的标准规范与开放生态&…

laravel的安装

laravel的安装&#xff08;Composer小皮&#xff09; Composer的安装 windows下安装 https://getcomposer.org/Composer-Setup.exe 修改镜像 阿里云&#xff1a; composer config -g repo.packagist composer https://mirrors.aliyun.com/composer/ 华为云&#xff1a; compos…

机器学习---KNN最近邻算法

1、KNN最近邻算法 K最近邻(k-Nearest Neighbor&#xff0c;KNN)分类算法&#xff0c;是一个理论上比较成熟的方法&#xff0c;也是最简单的机器学习算法之一&#xff0c;有监督算法。该方法的思路是&#xff1a;如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个…

深度学习 Day12——P1实现mnist手写数字识别

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 | 接辅导、项目定制 文章目录 前言1 我的环境2 代码实现与执行结果2.1 前期准备2.1.1 引入库2.1.2 设置GPU&#xff08;如果设备上支持GPU就使用GPU,否则使用C…

React中的setState执行机制

我这里今天下雨了&#xff0c;温度一下从昨天的22度降到今天的6度&#xff0c;家里和学校已经下了几天雪了&#xff0c;还是想去玩一下的&#xff0c;哈哈&#xff0c;只能在图片里看到了。 一. setState是什么 它是React组件中用于更新状态的方法。它是类组件中的方法&#x…

【LeetCode刷题-树】-- 103.二叉树的锯齿形层序遍历

103.二叉树的锯齿形层序遍历 方法&#xff1a;广度优先搜索 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int …

Leetcode—78.子集【中等】

2023每日刷题&#xff08;五十九&#xff09; Leetcode—78.子集 算法思想 实现代码 class Solution { public:vector<vector<int>> subsets(vector<int>& nums) {int len nums.size();vector<int> path;vector<vector<int>> ans;f…

Word公式居中+序号右对齐

Word公式居中序号右对齐 # 号制表位法表格法Mathtype法 # 号 制表位法 表格法 Mathtype法 参考1 参考2

深拷贝、浅拷贝 react的“不可变值”

知识获取源–晨哥&#xff08;现实中的人 嘿嘿&#xff09; react中如果你想让一个值始终不变 或者说其他操作不影响该值 它只是作用初始化的时候 使用了浅拷贝–改变了初始值 会改变初始值(selectList1) 因为使用浅拷贝都指向同一个地址 const selectList1 { title: 大大, …

UML概扩知识点

UML是一个重要的知识点&#xff0c;考察的频度也很高。我们需要了解的是UML的一系列的图&#xff0c;红框里的是最核心的。 其次是对各种关系有了解&#xff08;红框里的&#xff1a; 依赖关系&#xff0c;关联关系&#xff0c;泛化关系&#xff0c;实现关系&#xff09; UM…

多维时序 | MATLAB实现TSOA-TCN-Multihead-Attention多头注意力机制多变量时间序列预测

多维时序 | MATLAB实现TSOA-TCN-Multihead-Attention多头注意力机制多变量时间序列预测 目录 多维时序 | MATLAB实现TSOA-TCN-Multihead-Attention多头注意力机制多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 MATLAB实现TSOA-TCN-Multihead-…

5G CPE可代替宽带,解决断网问题

最近某运营商就玩起了套餐&#xff0c;断用户的网。 老百姓对宽带半知不解&#xff0c;网络断了没法上网&#xff0c;很着急。因为相信运营商&#xff0c;维修人员怎么说&#xff0c;老百姓就怎么办呗&#xff0c;直到最后才发现自己上当&#xff0c;但钱都给了。 截至2023年9月…

批量复制文件,自动跳过重名,高效文件管理从此开始“

你是否曾经遇到过需要批量复制文件&#xff0c;但又担心重名文件覆盖的问题&#xff1f;现在&#xff0c;我们有一个好消息要告诉你——你可以使用我们的文件管理工具&#xff0c;一键批量复制文件到指定文件夹&#xff0c;并自动跳过重名文件&#xff0c;高效管理你的文件从此…