【autodl/linux配环境心得:conda/本地配cuda,cudnn及pytorch心得】

linux配环境心得:conda/本地配cuda,cudnn及pytorch心得

  • 我们服务器遇到的大多数找不到包的问题
  • 一,服务器安装cuda和cudnn
    • 使用conda在线安装cuda和cudnn
    • 使用conda进行本地安装
    • 检查conda安装的cuda和cudnn
    • 本地直接安装cuda和cudnn
      • 方法一:直接更换镜像
      • 方法二:在nvidia官网下载cuda和cudnn之后进行安装
  • 二:服务器安装pytorch
    • 换源或换命令安装pytorch
    • 本地安装pytorch
        • 报错: xxx.whl is not a supported wheel on this platform
    • 检查pytorch是否成功安装:
  • 三:服务器运行git命令(git reset/ git clone)

我们服务器遇到的大多数找不到包的问题

都是因为国内的网络环境以及墙的问题,导致我们服务器使用了源,或conda使用了源的问题。
使用命令: conda install ,提示找不到包,很可能是因为我们使用了源,然后源里没存那个包。
使用命令: conda search cudatoolkit,找不到包,那其实是这个源里没这个包,不是说conda真的装不上那个特定版本的cuda。

又比如,使用git clone, git reset,一直报很奇怪的错,网上搜索的方法试了又试,都解决不了这个问题,之后发现是国内链接github比较慢,使用一下学术加速就解决了。

又比如,conda install pytorch -c pytorch,怎么都装不上,找不到包,也是连接pytorch官网比较慢

所以这里,笔者通过在autodl上搭建环境的例子,重新整一遍linux新环境中配置cuda,cudnn,pytorch以及安装好一个github包,并通过git硬调apex版本,来掩饰一下,当国内网不好,或使用的服务器网不好的时候,我们有多少种方法把环境给配好。(比如本地安装,换源,conda换pip之类的。)

一,服务器安装cuda和cudnn

使用conda在线安装cuda和cudnn

一般情况下,我们使用conda在虚拟环境中安装cuda和cudnn,我们会先搜索conda能提供的cuda包和cudnn包再安装。
比如使用如下所示代码:

conda search cudatoolkit
conda search cudnn

之后安装显示出来的列表里图里有的cuda和cudnn版本。

conda install cudatoolkit==xx.xx
conda install cudnn==xx.xx

比如当我在autodl上默认环境中运行:conda search cudatoolkit时,显示出来的是如下画面:
在这里插入图片描述
可以看到,显示出来的包不全,导致我们配环境也配的很困难(conda search cudnn同理,同样是不全。)
不管是直接使用命令进行安装conda install cudatoolkit==xx.xx,还是使用命令conda search cudatoolkit --info自己根据链接下载里面对应的包再本地安装,前提是我们得能搜索到对应的包啊,连包都搜索不到怎么安装(比如我们想安装11.1版本的cuda,我们至少得能搜索到cuda11.1啊,但这里的cudatoolkit连11.1都搜索不到。)

为什么conda能提供的cuda版本和cudnn版本这么少?我尝试运行了一下这两行命令进行搜索:

conda search cudatoolkit -c conda-forge
conda search cudnn -c conda-forge

这回能搜索到一系列的包。
在这里插入图片描述
确定原因:是网络和源的问题,导致conda搜索不到。
尝试换一下源再搜索:

#conda清除添加源,恢复默认源
conda config --remove-key channels
#添加一些清华源(有时候清华源崩了,可以换阿里源,阿里源崩了,可以换中科大源。国内安环境遇到问题,比如查找不到包的问题,很多都是网络的问题)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

这时候再重新运行命令:

conda search cudatoolkit
conda search cudnn

这时候就能显示一系列能安装的conda 包了(conda搜索不到包,还是源的问题。)
在这里插入图片描述
这时候运行命令就可以了:

conda install cudatoolkit==xx.xx
conda install cudnn==xx.xx

使用conda进行本地安装

有时候直接去搜索conda-forge,去安装的时候,因为服务器没法访问外网,如果不是用源里面的文件,可能下载速度会很慢。我们可以使用这条命令:

conda search cudatoolkit --info

在这里插入图片描述
访问搜索出来的包的url,然后自己下载好,上传到服务器上,之后使用命令安装。
比如我们下载的两个包是cudatoolkit-11.3.1-h2bc3f7f_2.conda和cudnn-8.2.1-cuda11.3_0.conda,我们可以运行这两个命令进行安装。(下载的如果是压缩包,记得解压)

conda install ./cudatoolkit-11.3.1-h2bc3f7f_2.conda
conda install ./cudnn-8.2.1-cuda11.3_0.conda

检查conda安装的cuda和cudnn

conda list | grep cudatoolkit
conda list | grep cudnn

本地直接安装cuda和cudnn

方法一:直接更换镜像

实际上我们没必要把每一步都按照自己的想法去强迫其实现,这样会很浪费我们的时间,有时候同一张卡,我们直接升降配置换个镜像,就可以配好了。这能极大的提升我们做科研的速度。(不过我还是想把整体配环境的流程配一遍)

方法二:在nvidia官网下载cuda和cudnn之后进行安装

比如我们想安装cuda11.1.1和配套的cudnn7.6.5,我们首先要在nvidia官网的cuda-toolkit页面下载cuda11.0。
请添加图片描述
我们点进该页面,之后选择相关的文件,然后下载就可以了。
在这里插入图片描述
之后按照这个页面下面的链接运行即可成功安装上。
在这里插入图片描述
之后是配置cuda的环境变量的部分。具体安装过程如图所示:安装CUDA并配置环境变量。或参考这个帖子的配置环境变量过程:Linux系统下CUDA和cuDNN环境配置 。

接着我们进入nvidia-cudnn网址进一步下载cudnn
(这一步需要登陆)

安装cudnn之后,要执行一些列复制头文件的命令,参考此网址即可。对命令具体不懂的,可以询问ChatGPT 。

二:服务器安装pytorch

换源或换命令安装pytorch

pytorch官网

比如官网的conda安装命令是:

conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 -c pytorch

实际上这个版本还有对应的pip安装命令:

pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html

在安装pytorch的过程中,我们还可以换源
换源安装pytorch

本地安装pytorch

pytorch离线下载网址
比如如果pytorch官网告诉我们的安装命令是:

conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 -c pytorch

我们可以去上面的离线包下载网址,把对应python版本和cuda版本的pytorch,torchvision还有torchaudio都下载上:

torchvision-0.9.0+cu111-cp38-cp38-linux_x86_64.whl
torchaudio-0.8.0-cp38-cp38-linux_x86_64.whl
torch-1.8.0+cu111-cp38-cp38-linux_x86_64.whl

之后我们把下载的包上传到服务器以后,在本地路径上直接pip安装就可以了。

pip install torch-1.8.0+cu111-cp38-cp38-linux_x86_64.whl
pip install torchvision-0.9.0+cu111-cp38-cp38-linux_x86_64.whl
pip install torchaudio-0.8.0-cp38-cp38-linux_x86_64.whl

报错: xxx.whl is not a supported wheel on this platform

不过本地安装pytorch的whl文件的一个问题就是,我们可能需要改一下文件的名字(因为新版的pip必须把文件名按规定的语法来修改才能安装上)
具体可以参考这三个网址:ERROR: torch-1.12.0+cu116-cp38-cp38-win_amd64.whl is not a supported wheel on this platform.,xxx.whl is not a supported wheel on this platform-查看pip支持的安装包版本,用whl安装pytorch踩坑实录(whl is not a supported wheel on this platform.)​​
我改了文件名后,成功安装上了。

我改的文件名:
torch-1.8.0+cu111-py38-none-linux_x86_64.whl
然后就成功安装上了
pip install torchvision-0.9.0+cu111-py38-none-linux_x86_64.whl
最后:
pip install torchaudio-0.8.0-py38-none-linux_x86_64.whl

检查pytorch是否成功安装:

import torch
print(torch.__version__)
print(torch.cuda.is_available())
# 打印当前可见可用的GPU数目
print(torch.cuda.device_count())
# 获取GPU名字
print(torch.cuda.get_device_name())

三:服务器运行git命令(git reset/ git clone)

这个同样是源或网络的问题,autodl有一个学术加速。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/79127.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL常见报错

1.语法错误:SQL syntax [Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near (sno,con,degree) values (109,9-888,99) at line 1 2.未知列:查看表…

orcle数据库根据经纬度计算两个地点之间的距离

CREATE OR REPLACE FUNCTION Radian(d number) RETURN NUMBER is PI number :3.141592625;begin return d* PI/180.0; end ;--测试函数 select Radian(360) from dual;CREATE OR REPLACE FUNCTION GetDistance(lat1 number,lng1 number,lat2 number,lng2 number) RETURN NUMBE…

java高级:注解

目录 认识注解&自定义注解元注解解析注解注解的应用场景 认识注解&自定义注解 注解和反射一样,都是用来做框架的,我们这里学习注解的目的其实是为了以后学习框架或者做框架做铺垫的。 先来认识一下什么是注解?Java注解是代码中的特…

嵌入式学习笔记(31)异常向量表的编程处理

6.5.1像内存一样去访问异常向量表 (1)S5PV210的异常向量表可以改变(在CP15协处理器中),以适应操作系统的需求。但是目前系统刚启动,此时DRAM尚未初始化,程序哦都市在iSRAM中运行。210在iSRAM中…

C++下基于粒子群算法解决TSP问题

粒子群优化算法求解TSP旅行商问题C(2020.11.12)_jing_zhong的博客-CSDN博客 混合粒子群算法(PSO):C实现TSP问题 - 知乎 (zhihu.com) 一、原理 又是一个猜答案的算法,和遗传算法比较像,也是设…

python第三方库 pip install速度慢的解决办法

文章目录 1 在命令中指定国内镜像网站2 永久配置源2.1 linux 系统配置2.2 windows 系统 1 在命令中指定国内镜像网站 阿里云:https://mirrors.aliyun.com/pypi/simple/中国科技大学:https://pypi.mirrors.ustc.edu.cn/simple/华为云:https:/…

live555 UsageEnvironment目录解读

文章目录 UsageEnvironment/HashTable.cppstrDup.cppUsageEnvironment.cpp后续还会继续更新 UsageEnvironment/ ├── HashTable.cpp ├── include │ ├── Boolean.hh │ ├── HashTable.hh │ ├── strDup.hh │ ├── UsageEnvironment.hh │ └── UsageEnviro…

入门人工智能 ——自然语言处理介绍,并使用 Python 进行文本情感分析(5)

入门人工智能 ——自然语言处理介绍,并使用 Python 进行文本情感分析(5)) 入门人工智能 ——自然语言处理介绍,并使用 Python 进行文本情感分析介绍自然语言处理的挑战NLP的基本任务NLP的基本技术NLP的应用领域 使用 P…

在 ubuntu20.04 上安装 Pytorch

参考资料:https://www.linode.com/docs/guides/pytorch-installation-ubuntu-2004/ sudo apt update sudo apt install nvidia-cuda-toolkit (3G) mkdir anaconda cd ~/anaconda wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh chmod …

FPGA的基础架构,什么是CLB?

本原创文章由深圳市小眼睛科技有限公司创作,版权归本公司所有,如需转载,需授权并注明出处 CLB是指可编程逻辑功能块(Configurable Logic Blocks),顾名思义就是可编程的数字逻辑电路。CLB是FPGA内的三个基本逻辑单元。C…

golang http

函数说明http.ServeMux是 Go 语言标准库中的一个多路复用器(multiplexer)。它用于路由和处理 HTTP 请求,将请求分发到相应的处理器函数。http.HandleFunc是 Go 语言标准库中的一个函数,用于注册处理器函数来处理 HTTP 请求。它是对…

Educational Codeforces Round 5

文章目录 A. Comparing Two Long IntegersB. Dinner with EmmaC. The LabyrinthD. Longest k-Good SegmentE. Sum of Remainders A. Comparing Two Long Integers 模拟&#xff0c;签到。 #include <bits/stdc.h>using namespace std; const int N 1e6 5; typedef lo…

与社交媒体结合:视频直播美颜sdk在社交平台上的应用

为了让直播内容更吸引人&#xff0c;视频直播美颜sdk&#xff08;Software Development Kit&#xff09;正逐渐崭露头角&#xff0c;为社交媒体用户提供了卓越的美颜效果和互动体验。 一、什么是视频直播美颜sdk&#xff1f; 在深入讨论如何将视频直播美颜sdk整合到社交媒体平…

CSS元素浮动

概述 浮动简介 在最初&#xff0c;浮动是用来实现文字环绕图片效果的&#xff0c;现在浮动是主流的页面布局方式之一。 元素浮动后的特点 脱离文档流。不管浮动前是什么元素&#xff0c;浮动后&#xff0c;默认宽与高都是被内容撑开的&#xff08;尽可能小&#xff09;&am…

时序分解 | MATLAB实现基于小波分解信号分解分量可视化

时序分解 | MATLAB实现基于小波分解信号分解分量可视化 目录 时序分解 | MATLAB实现基于小波分解信号分解分量可视化效果一览基本介绍程序设计参考资料 效果一览 基本介绍 基于小波分解的分量可视化&#xff0c;MATLAB编程程序&#xff0c;用于将信号分解成不同尺度和频率的子信…

Qt-背景图片

在Qt中&#xff0c;使用QWidget或其子类&#xff08;如QFrame、QPushButton等&#xff09;的样式表&#xff08;StyleSheet&#xff09;来设置背景图片&#xff0c;并指定其位置。样式表允许以一种类似于CSS的方式来定义控件的外观和样式。 以下是在Qt中设置控件的背景图片并指…

OpenText Exceed TurboX 通过安全远程访问高性能图形化应用程序和桌面保证业务连续性

OpenText Exceed TurboX 通过安全远程访问高性能图形化应用程序和桌面保证业务连续性 OpenText™ Exceed TurboX™ 是一种安全的虚拟桌面解决方案&#xff0c;可实现现代混合工作。利用 Exceed TurboX 混合云虚拟桌面基础架构 &#xff08;VDI&#xff09;&#xff0c;组织可以…

实用技巧:Linux上实现OpenGauss数据库远程连接,方便的跨网络数据操作

文章目录 前言1. Linux 安装 openGauss2. Linux 安装cpolar3. 创建openGauss主节点端口号公网地址4. 远程连接openGauss5. 固定连接TCP公网地址6. 固定地址连接测试 &#x1f341; 小结 &#x1f341; 前言 openGauss是一款开源关系型数据库管理系统&#xff0c;采用木兰宽松许…

grafana 监控无图解决

环境 k8s 1.26.0 helm 部署的prometheus charts为 prometheus-community/kube-prometheus-stack 问题 部署上之后,发现grafana很多dashboard无图。 处理过程 进grafana dashboards 任意选取一张有问题的图,查看查询语句,如下 sum(container_memory_rss{job="kube…

Spring-MVC使用JSR303及拦截器,增强网络隐私安全

目录 一、JSR303 ( 1 ) 是什么 ( 2 ) 作用 ( 3 ) 常用注解 ( 4 ) 入门使用 二、拦截器 2.1 是什么 2.2 拦截器与过滤器的区别 2.3 应用场景 2.4 基础使用 2.5 用户登录权限控制 给我们带来的收获 一、JSR303 ( 1 ) 是什么 JSR 303是Java规范请求&#xff…