基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境

基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境


内容概述:由于最近配发了新的工作电脑但不想装双系统,因此通过本博文来记录基于Windows子系统WSL+Docker搭建机器学习与深度学习开发环境的流程步骤,同时记录该过程中所遇到的相关问题及解决方案。期待为同行学习者提供参考;

最终效果:在Windows电脑上,无需安装VMware等虚拟机(显式)或双系统,即可使用Linux,并基于Linux使用docker或其他依赖于Linux的机器学习工具包;


注意:这篇Post分为如下两个部分:

第一部分:利用WSL2+Vscode实现开发环境的搭建。

第二部分:进一步在WSL2中配置Docker与Nvidia docker Toolkit,实现基于Docker的开发环境搭建。

其中,第一部分内容已经可以满足日常开发的需要,没有Docker使用需求的同行可直接跳过第二部分。

但博主本人日常工作需要用到Docker及相关工具,且本人认为基于Docker容器来管理日常开发环境,可以更好地避免日常项目中的包版本间的冲突关系。同时,利用Docker搭建开发环境,其试错成本低,不会对物理机环境有任何影响,可充分保持物理机环境的干净,即便重装系统,也可快速地恢复本地开发环境(前提是已经把自己的Docker开发环境打包成镜像,并上传pull至docker hub, 以便可随时拉取至本地)。


第一部分:利用WSL2+Vscode搭建开发环境

(1) 开启系统功能

由于WSL是Windows子系统,因此首先需要启用相关系统功能:

  • 适用于Linux的Windows子系统;
  • 虚拟机平台;

具体地,需要在Windows控制面板中开启如下图所示的功能选项;同时待系统搜索安装完成后,重启系统
在这里插入图片描述

(2) 将WSL2设置为默认版本

在Windows系统中打开 PowerShell, 将 WSL 2 设置为默认版本,如下图所示:

在这里插入图片描述

出现如图所示的提示信息,即为设置成功。

(3) 安装Ubuntu

在微软商店,搜索安装Ubuntu,这里选择安装ubuntu22.04:
在这里插入图片描述

安装完成后,在开始菜单即可选中启动。

可选步骤(可跳过),其中,点击启动后可能出现如下错误:

在这里插入图片描述

对上述错误,按照错误解决方法即可解决。具体地,下载如下图所示的Linux内核更新包,即可:

在这里插入图片描述

问题解决方法链接:https://github.com/microsoft/WSL/issues/5393
具体解决步骤链接: https://learn.microsoft.com/zh-cn/windows/wsl/install-manual#step-4—download-the-linux-kernel-update-package

上述步骤完成后,即可正常启动,然后提示设置用户名和密码,设置完成后 启动界面如下图所示:

在这里插入图片描述

(4) 安装Anaconda并配置环境变量

在上述Linux子系统中,安装Anaconda3,以提供虚拟环境管理工具。具体地,命令如下:

# Step one: 下载安装包.
wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh
# Step two: 执行bash命令,其中会多次输入yes确认.
# note:需进入到安装包所在目录或键入绝对路径.
bash Anaconda3-2021.05-Linux-x86_64.sh

安装完成,如下图所示:

在这里插入图片描述

然后是配置环境变量,方便使用conda来进行虚拟环境创建管理,步骤如下:

# Step three.
# 使用vim编辑器将anaconda安装路径的bin目录添加到配置文件
vim ~/.bashrc
# 按i进入插入模式,如下图所示,添加安装路径到行末
PATH=/home/user/anaconda3/bin:$PATH 
# note: 其中,usr需要根据实际情况修改,对应步骤三的用户名;

在这里插入图片描述

# Step four:保存退出vim编辑器
按键盘ESC键,退出插入模式,然后输入冒号wq并回车保存编辑内容
:wq
# Step five:刷新配置文件,效果如下图所示.
source .bashrc 

在这里插入图片描述
在这里插入图片描述

这时候,Anaconda及环境便令均安装配置完成。后面就可以像在Windowns上一样,新增管理conda虚拟环境

(5) 安装Vscode及相关扩展

在Windows上的Vscode安装过程简单,此处省略。仅说明需要安装的关键插件,实现Vscode能够链接WSL2里面的开发环境。具体如下:

  • 安装WSL插件,用于连接WSL中的Conda虚拟环境;
  • 安装remote-ssh, 用于连接公司的服务器;

在这里插入图片描述
在这里插入图片描述

安装完成后,点击左下角的远程连接,如下图所示:

在这里插入图片描述

此时,即可连接到WSL2 子系统。

在这里插入图片描述

打开Linux子系统的某个目录:这里以home目录下的用户目录(wsl_ubuntu)为例:确定目录后回车,即可打开对应目录:

在这里插入图片描述

在打开的目录中,创建jupyter notebook文件,命名为Script_test.ipynb。如下图所示:

在这里插入图片描述

(6) 选择虚拟环境

  • 注意,此实例打开的是/home/wsl_ubuntu/目录,该文件夹位于Linux子系统的文件目录中,如下图:

在这里插入图片描述

  • 如果此时需要在Windows系统中的盘符进行项目创建,需要在Open Folder的时候,进行切换,选中mnt,如下图,这里的C、D、E分别代表Windows本地磁盘,C盘,D盘,等;

在这里插入图片描述

此时,所创建的Python文件还没有对应的虚拟环境提供Python解释器,我们点击右上角,select kernel,选择前面安装anaconda后提供的虚拟环境,如下图:

在这里插入图片描述

到此,我们实现了基于WSL2+Vscode的开发环境搭建。如若没有docker使用需求,即可结束配置步骤。上述执行效果如下:

在这里插入图片描述


第二部分:利用WSL2+Docker+Vscode搭建开发环境

考虑到Docker容器的便捷性与隔离性,这里进一步在WSL2安装docker及Nvidia docker toolkit。实现深度学习开发环境的容器化管理。具体地,我将通过Docker搭建起TensorFlow及Pytorch开发环境,因为不想麻烦地装cuda、cudnn等。相较之下,使用容器,这些东西都打包好了,直接用。

一个前提,得保证本地Windows物理机已经安装了较高版本的Nvidia Driver,如下图:

在这里插入图片描述

(1) 在WSL中安装docker及Nvidia docker toolkit

实际上,如果不是为了使用Nvidia官方提供的Pytorch和TensorFlow镜像,直接安装Docker就可以了。这里为了使用Nvidia提供的深度学习框架镜像,因此需要安装Nvidia docker toolkit。

  • 安装Nvidia docker toolkit[可选步骤,可以直接跳过到docker安装步骤]。实际上就是安装了一些docker的插件吧。

安装命令来自官网,这里是地址,基于apt安装的具体过程如下:

# Step one: Configure the repository
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list \&& \sudo apt-get update
# Step two: Install the NVIDIA Container Toolkit packages.
sudo apt-get install -y nvidia-container-toolkit

这个过程比较简单,耐心安装完即可。

  • 在WSL2的Ubuntu22.04中安装Docker,命令来自于Docker官网,注意查看支持的系统版本,具体如下:
# Step one: Uninstall old versions
for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done# Step two: Set up Docker's official GPG key:
# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg# Add the repository to Apt sources:
echo \"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update# Step three: Install the Docker packages.
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# Step four: alternative to verify .
sudo docker run hello-world

到这一步就安装结束了。但没想到是的,出现了如下图所示“尴尬提示”。可以看出,查看docker 版本的时候,一切正常,然而,执行sudo docker run hello-world命令的时候,报错。

报错信息为:”“docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”

在这里插入图片描述

看起来像是说,我们的Docker没有启动。但是,实际发现通过service docker status启动后还是不行。如上图所示。这种情况在几个月前的另一台电脑上,没有出现。经过查找发现如下信息:

在这里插入图片描述

[此处感谢博友1:]: https://juejin.cn/post/7197594278083919932
[感谢博友2:]: https://www.cnblogs.com/towinar/p/17344345.html

因此,通过执行如下命令,上述问题得以解决。具体如下:

# Step one: 
sudo update-alternatives --set iptables /usr/sbin/iptables-legacy
# Step two:
sudo update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy
"""
该命令将 /usr/sbin/iptables-legacy 和 /usr/sbin/ip6tables-legacy 分别设置为 iptables 和 ip6tables 的备选方案.
"""
# Step three:
sudo service docker start

至此,Docker已经安装成功。如下图所示:

在这里插入图片描述

在这里插入图片描述

实际上,到这一步,我们的Docker和Nvidia Docker Toolkit都已经安装完成了。但是在基于WSL2的实际使用过程中我们发现一个“BUG”。如下图所示:

在这里插入图片描述
在这里插入图片描述

实际上,我们已经拉取过很多镜像到本地,但是通过命令查看结果显示,这里只有两个(对比与上图的客户端查看结果)。深度怀疑这是官方在搞鬼,大概就是强推客户端吧。

(2) 安装Docker Desktop[可选]

因此,为了折腾(配合命令行使用),进一步选择安装了Docker Desktop,即在Windows上安装Docker客户端。实际上我是拒绝的!这个过程简单,不做赘述!

在这里插入图片描述
在这里插入图片描述

至此,客户端安装完毕。日常的使用,通过命令行足以满足,但为了避免一些问题,还是配合客户端一起使用。

(3) 拉取目标Pytorch镜像文件

这里以Nvidia Pytorch镜像(网址:https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch)为例,拉取镜像,并创建容器,如下图所示:

在这里插入图片描述

# 根据Docker版本,选择安装命令。当前安装的Docker版本为24.0.7
# 命令中的xx.xx是容器的版本,例如:22.10
# Docker 19.03 or later, a typical command to launch the container is:
docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:xx.xx-py3
#  Docker 19.02 or earlier, a typical command to launch the container is:
nvidia-docker run -it --rm -v nvcr.io/nvidia/pytorch:xx.xx-py3

注意,这里需要考虑自己电脑已经安装的显卡驱动(Nvidia driver version)。建议安装比较新的显卡驱动,否则一些容器的功能会受限。当然,在选择容器版本之前,也可以考虑使用旧一点的容器版本。

在这里插入图片描述

我这里还是安装上一个电脑正在使用的版本,23.08。因此,结合使用端口映射等命令,对该版本的镜像文件拉取过程如下(简单起见,可以直接运行,本地没有找到的话,自动开始网络拉取):

# excute commands
sudo docker run --gpus all -it --rm -p 8888:8888 -v ~:/workspace \--ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \nvcr.io/nvidia/pytorch:23.08-py3# 拉取Nvidia Tensorflow镜像的命令类似
sudo docker run --gpus all -it --rm -p 8888:8888 -v ~:/workspace \--ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \nvcr.io/nvidia/tensorflow:23.08-py3

在这里插入图片描述

拉取完之后,便基于该镜像文件创建并启动了容器,如下图所示:

在这里插入图片描述

此时,我们就可以直接在这里输入 jupyter notebook,启动记事本了。对于TensorFlow也是一样的,无需手动安装cuda、cudnn等。进一步,查看是否可以获取到GPU,如下图:

在这里插入图片描述

没有问题。下面我将关闭所有打开的命令行,关闭上述运行的容器,从头使用Vscode,以及利用Vscode集成的终端,连接容器中的Pytorch开发环境,进一步测试安装是否成功!

(4) 在VScode中连接容器中的开发环境

  • 启动Vscode,连接到WSL2并创建jupyter notebook文件。因为我们的容器环境在WSL2系统中。
# Script_test.
# Print the pytorch version.
import torch
print(torch.__version__)# # Test the GPU is available or not.
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(device)

在这里插入图片描述

  • 启动Vscode集成终端,基于上述拉取的Pytorch镜像创建容器,同时启动jupyter notebook服务,如下图:

在这里插入图片描述

jupyter notebook服务已经启动,如下图所示的访问地址

在这里插入图片描述

  • 更改当前jupyter notebook的kernel,并连接到当前运行在容器里面的jupyter服务器,如下图:

在这里插入图片描述

在这里插入图片描述

选择Existing Jupyter Server, 输入上述所启动的Jupyter notebook访问地址,【http://hostname:8888/?token=99e28504c265262e15d096a8d0913256c0ae104787e1d6ef】,并将hostname修改为localhost,回车即可。此时,当前记事本的kernel已经变更为Python 3(ipykernel):

在这里插入图片描述

至此,基于WSL2+Docker+VScode的机器学习(深度学习)环境配置结束。

参考链接

[1] 关于ubuntu安装后,启动报错"WslRegisterDistribution failed with error" 的解决方案:参照 https://github.com/microsoft/WSL/issues/5393 和 https://learn.microsoft.com/zh-cn/windows/wsl/install-manual#step-4—download-the-linux-kernel-update-package 。

[2] 关于启动Docker后,提示报错“docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”,参照 https://stackoverflow.com/questions/57267776/why-is-the-docker-service-stopping 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/169977.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

交流充电桩与直流充电桩的区别

1、背景 直流充电桩的学名是非车载充电机,是相对于交流充电桩而言的。交流充电桩是采用传导方式为具备车载充电机的电动汽车提供交流电能的专用装置。 2、交流充电桩和直流充电桩 1.1、交流充电桩 交流充电桩包括单相和三相交流充电桩。 图一是交流充电桩原理框…

JMeter 设置请求头信息的详细步骤

在使用 JMeter 的过程中,我们会遇到需要设置请求头信息的场景。比如: POST 传过去的 Body 数据是 json 格式的。需要填添加头信息:Content-Type:application/json。 在 header 中用 token 来传用户的认证信息。 下面,…

5.1 Windows驱动开发:判断驱动加载状态

在驱动开发中我们有时需要得到驱动自身是否被加载成功的状态,这个功能看似没啥用实际上在某些特殊场景中还是需要的,如下代码实现了判断当前驱动是否加载成功,如果加载成功, 则输出该驱动的详细路径信息。 该功能实现的核心函数是NtQuerySys…

位图和布隆过滤器

目录 一. 位图 1.题目: 给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中? 2.解析题目: 3.位图 4.代码以及测试 5.其他题目 二.布隆过滤器 1.介绍 2.实现 …

【Docker】从零开始:12.容器数据卷

【Docker】从零开始:12.容器数据卷 1.什么是容器数据库卷2.数据的覆盖问题3.为什么要用数据卷4.Docker提供了两种卷:5.两种卷的区别6.bind mount7.Docker managed volumevolume 语法volume 操作参数 1.什么是容器数据库卷 卷 就是目录或文件&#xff0c…

python_selenium自动化测试框架

📢专注于分享软件测试干货内容,欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!📢交流讨论:欢迎加入我们一起学习!📢资源分享:耗时200小时精选的「软件测试」资…

nginx的n种用法(nginx安装+正向代理+反向代理+透明代理+负载均衡+静态服务器)

nginx的安装 一、安装依赖 # 一键安装四个依赖 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel二、安装nginx yum install nginx三、检查是否安装成功 nginx -v四、启动/停止nginx /etc/init.d/nginx start /etc/init.d/nginx stop五、编辑配置文件…

重生之我是一名程序员 41 ——字符串函数(2)

哈喽啊大家晚上好!今天呢我们延续昨天的内容,给大家带来第二个字符串函数——strcat函数。 首先呢,还是先带大家认识一下它。strcat函数是C语言中用于将两个字符串连接起来的函数,其函数原型为: char *strcat(char *…

JAVA毕业设计112—基于Java+Springboot+Vue的宠物领养社区小程序(源码+数据库)

基于JavaSpringbootVue的宠物领养社区小程序(源码数据库)112 一、系统介绍 本系统前后端分离带小程序 小程序(用户端),后台管理系统(管理员) 小程序: 登录、注册、宠物领养、发布寻宠、发布领养、宠物社…

5.3每日一题(不确定正负号的级数敛散性:和一个正项级数比较判定)

比较判别法和比较判别法的极限形式是对正项级数而言的&#xff0c;若一个级数和p级数比较&#xff0c;结果>0&#xff0c;则同敛散&#xff1b;若结果<0&#xff0c;则结果乘以-1 结果又同敛散了&#xff1b;所以只要比值不等于0&#xff0c;则同敛散&#xff1b; 所以当…

JVM虚拟机:G1垃圾回收器的日志分析

本文重点 本文我们将学习G1垃圾回收器的日志 使用 执行命令 java -Xms20M -Xmx20M -XX:PrintGCDetails -XX:UseG1GC 类名 分析 前面我们学习了G1垃圾回收器&#xff0c;它的回收有三种可能&#xff1a; YGC FGC MixedGC GC pause表示STW,Evacuation表示复制对象&#xff0c;…

c语言-字符函数和字符串函数详解

文章目录 1. 字符分类函数2. 字符转换函数3. strlen的使用和模拟实现4. strcpy的使用和模拟实现5. strncpy函数的使用6. strcat的使用和模拟实现7. strncat函数的使用8. strcmp的使用和模拟实现9. strncmp函数的使用10. strstr的使用和模拟实现11. strtok函数的使用12. strerro…

【尚跑】2023宝鸡马拉松安全完赛,顺利PB达成

1、赛事背景 千年宝地&#xff0c;一马当先&#xff01;10月15日7时30分&#xff0c;吉利银河2023宝鸡马拉松在宝鸡市行政中心广场鸣枪开跑。 不可忽视的是&#xff0c;这次赛事的卓越之处不仅在于规模和参与人数&#xff0c;还在于其精心的策划和细致入微的组织。为了确保每位…

Kotlin学习——kt里面的函数,高阶函数 函数式编程 扩展函数和属性

Kotlin 是一门现代但已成熟的编程语言&#xff0c;旨在让开发人员更幸福快乐。 它简洁、安全、可与 Java 及其他语言互操作&#xff0c;并提供了多种方式在多个平台间复用代码&#xff0c;以实现高效编程。 https://play.kotlinlang.org/byExample/01_introduction/02_Functio…

论文笔记:详解NEUPSL DSI

《Using Domain Knowledge to Guide Dialog Structure Induction via Neural Probabilistic 》 名词解释 Dialog Structure Induction&#xff08;DSI&#xff09;是推断给定目标导向对话的潜在对话结构&#xff08;即一组对话状态及其时间转换&#xff09;的任务。它是现代对…

基于Scapy修改ClientHello的SNI(三)

需求:修改HTTPS的ClientHello中的SNI字段 目标:修改成功,wireshark显示正常 语言:Python 三方库:Scapy 下面是一个标准的ClientHello报文,是从一个完整的HTTPS流中保存出来的,原始报文中的SNI是www.baidu.com 在上一篇文章中 记录基于scapy构造ClientHello报文的尝试…

【Docker】Docker与Kubernetes:区别与优势对比

前言 Docker 是一个开源的应用容器引擎&#xff0c;让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。   kubernetes&#xff0c;简称K8s&a…

C#调用ffmpeg从视频提取图片

微信公众号“CSharp编程大全”的文章《C#从视频提取图片&#xff1f;》介绍了基于Microsoft.DirectX.AudioVideoPlayback.Video类实现从视频提取图片的方式&#xff0c;本来是想学习并测试该类的用法&#xff0c;但实际测试过程中却没有测通。百度从视频提取图片&#xff0c;网…

【Leetcode合集】1457. 二叉树中的伪回文路径

1457. 二叉树中的伪回文路径 1457. 二叉树中的伪回文路径 代码仓库地址&#xff1a; https://github.com/slience-me/Leetcode 个人博客 &#xff1a;https://slienceme.xyz 给你一棵二叉树&#xff0c;每个节点的值为 1 到 9 。我们称二叉树中的一条路径是 「伪回文」的&am…

rtsp点播异常出现‘circluar_buffer_size‘ option was set but it is xx

先说现象: 我使用potplay播放器来点播rtsp码流的时候可以点播成功&#xff0c;同事使用vlc和FFplay来点播rtsp码流的时候异常。 排查思路: 1.开始怀疑是oss账号问题&#xff0c;因为ts切片数据是保存在oss中的&#xff0c;我使用的是自己的oss账号&#xff0c;同事使用的是公司…