在服务器上开Juypter Lab教程(远程访问)
文章目录
- 在服务器上开Juypter Lab教程(远程访问)
- 一、安装anaconda
- 1、安装anaconda
- 2、提权限
- 3、运行
- 4、同意协议
- 5、安装
- 6、是否要自动初始化 conda
- 7、结束
- 8、检查
- 二、Anaconda安装Pytorch
- 1、安装pytorch
- 2、检查和激活环境
- 3、安装PyTorch
- 4、检查python版本
- 5、检查虚拟环境
- 三、安装JuypterLab
- 1、安装
- 2、生成配置文件
- 3、设置密码
- 5、设置防火墙
- 四、安装nodejs
- 1、安装
- 2、校验和检查
- 五、启动jupyter-lab
- 1、开启screen
- 2、激活环境
- 3、登录
- 4、常用工具
- 5、使用阿里云镜像
- 六、常见问题
- 1、Cannot assign requested address (或无法正常显示lab登录界面)
- 2、401 POST /login?next=%2Flab (@100.68.1.103) 13.39ms
- 3、torch等依赖显示未安装
- 4、不知道本地访问lab的地址
包含anaconda、conda、Pytorch、Juypter、node.js安装教程,并附带相关命令的解释和常见的问题.
介绍了如何在Linux服务器上配置远程访问的Jupyter Lab环境,包括从Anaconda的安装、Pytorch环境的创建、Jupyter Lab的配置到Node.js的安装步骤。它涵盖了相关命令的解释,例如如何赋予文件执行权限、创建和激活Conda虚拟环境以及配置Jupyter Lab的密码和远程访问。文件还包括一些常见问题的解决方法,如无法访问Jupyter Lab的登录界面、密码错误导致的登录失败以及环境未正确配置等。
一、安装anaconda
如何在Linux服务器上安装Anaconda(超详细)_linux安装anconda-CSDN博客
1、安装anaconda
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
2、提权限
chmod +x Anaconda3-2024.02-1-Linux-x86_64.sh
chmod
是用来改变文件或目录的访问权限的命令,而 +x
是具体的参数选项,表示添加执行权限
在 UNIX 和类 UNIX 系统中,文件和目录的权限分为三组:
- 所有者(u):文件的创建者,通常有对文件的最高权限。
- 组(g):文件所属的用户组,组内的所有用户对文件有相同的权限。
- 其他人(o):系统中其他所有用户。
文件权限由三种类型构成:
- 读(r):可以读取文件的内容。
- 写(w):可以修改文件的内容。
- 执行(x):可以运行文件作为程序或脚本。
例如,如果一个文件原先的权限是 rw-r--r--
,运行 chmod +x
后,权限将变为 rwxr-xr-x
,这意味着所有者、组和其他用户都可以执行这个文件。
3、运行
4、同意协议
5、安装
6、是否要自动初始化 conda
yes:选择 “yes” 后,conda
会在每次启动终端时自动激活 base 环境。
no(默认):选择 “no” 后,conda
不会自动激活 base 环境,但你仍然可以通过手动命令激活环境。
7、结束
Tips:For changes to take effect, close and re-open your current shell.
我们需要关闭当前终端窗口,然后重新打开一个新的终端窗口。
8、检查
conda -V
二、Anaconda安装Pytorch
配置我尽量按照如下进行设置
1、安装pytorch
conda create -n pytorch_zhanyong python=3.8
2、检查和激活环境
conda activate pytorch_zhanyong
base
环境
- 默认环境:
base
是 Conda 安装时默认创建的环境。当你第一次安装 Anaconda 或 Miniconda 时,base
环境自动生成,并包含了 Anaconda 默认的一些包,比如numpy
、pandas
、matplotlib
等常用的科学计算库。 - 全局环境:通常,
base
环境包含了你可以使用的所有基础工具包和管理命令,如conda
命令本身。它通常不建议用作日常开发的工作环境,因为安装过多包可能导致依赖冲突或版本管理问题。 - 包较多:
base
环境默认安装了 Anaconda 或 Miniconda 中附带的大量包,可能比较臃肿。
pytorch_zhanyong
环境
- 自定义环境:
pytorch_zhanyong
是你自己创建的一个 Conda 环境,专门用来处理你在pytorch
相关的工作。这个环境不会继承base
环境中的包,而是你自行定义的,可以包含你需要的特定库,如 PyTorch、torchvision 等。它的包数量相对较少、更加轻量。 - 隔离环境:这是 Conda 的一个重要特性。每个环境都是相互隔离的,这意味着你可以在这个环境中安装与
base
环境不同的库版本或完全不同的库,而不会互相影响。这在避免包冲突、依赖问题等方面特别有用。 - 灵活性:你可以根据项目的需要,为每个项目创建独立的 Conda 环境。例如,你可以为每个项目创建不同的环境来适应不同的 Python 或库版本。
3、安装PyTorch
Previous PyTorch Versions | PyTorch
推荐使用之前的版本Previous PyTorch Version,而不是最新版本
# CUDA 11.3
conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch
安装结束
4、检查python版本
python --version
5、检查虚拟环境
conda info --envs
三、安装JuypterLab
1、安装
远程服务器ubuntu安装Jupyter Lab详细教程_ubuntu jupyter-CSDN博客
conda install -c anaconda jupyter
2、生成配置文件
jupyter notebook --generate-config
#生成的文件位于:~/.jupyter/jupyter_notebook_config.py #配置文件
3、设置密码
在终端中直接输入
jupyter notebook password
输入自己设置的密码即可,主要是用于后续远程登录的密码
vim .jupyter/jupyter_notebook_config.py
vim进入后,可以按照大写的G【小写没用】跳转文件的末尾位置,加入下述内容即可
c.ServerApp.ip = '*' #本机静态IP 建议使用*
c.ServerApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$XXXXXXXXXX'
# 这个是刚要保存的秘钥
c.ServerApp.open_browser = False # 运行时不打开本机浏览器
c.ServerApp.port = 7890 #端口,可以随意指定 不与系统其他端口冲突即可
c.ServerApp.allow_remote_access = True #允许远程访问
c.ServerApp.root_dir = '/home/zhanyong' # 如果服务器包含多个用户,建议修改初始路径,注意最后不需要使用/结束
5、设置防火墙
sudo ufw allow 7890 #放行自己设置的端口
四、安装nodejs
1、安装
下载 | Node.js 中文网 (nodejs.cn)
wget https://npmmirror.com/mirrors/node/v20.17.0/node-v20.17.0-linux-x64.tar.xz
解压
tar -xvf node-v20.17.0-linux-x64.tar.xz
# 使用vim 编辑~/.bashrc文件$vim ~/.bashrc# 在文件最后一行,添加下面一行内容
export PATH=/home/zhanyong/node-v20.17.0-linux-x64/bin:$PATH
#/home/zhanyong/node-v20.17.0-linux-x64/这部分的内容需要替换你自己的实际路径
# 使文件生效
source ~/.bashrc# 查看node版本
$node -v # 检查node环境是否配置成功
# 输出node对应版本】
v20.17.0
2、校验和检查
# 查看node版本
$node -v # 检查node环境是否配置成功
五、启动jupyter-lab
1、开启screen
一般启动jupyter后会一直保持运行,因此可以将其放入后台运行,可以采用screen来实现,首先创建一个名字为jupyterlab的后台
screen -S jupyterlab
-S
选项用于给新创建的会话指定一个名称
screen -r jupyterlab
screen -r
命令,它用于重新连接到一个已经存在的会话
然后启动,如果用的是root账号的话则需要加上–allow-root,否则不需要
# jupyter-lab --allow-root
# jupyter-lab
最后按Ctrl+A+D组合键即可退出后台,而jupyter-lab保持运行
2、激活环境
conda activate pytorch_zhanyong #在jupyter-lab之前保证环境是自己的环境,而不是base默认环境(如果没有额外创建虚拟环境,可忽略)
3、登录
使用 ip:7890/lab即可登录,注意ip是虚拟机的ip,端口是自己设置的,输入密码,密码是jupyter notebook password命令后输入的密码
检查是否可用
4、常用工具
#screen -ls 显示所有的screen
#exit 如果你在 screen 的最后一个窗口中,这将关闭该窗口,并且如果没有其它窗口,会结束整个 screen 会话。
#kill 157460 结束对应的进程screen:启动一个新的 screen 会话。
screen -S <name>:启动一个带有特定名称的新 screen 会话。
screen -ls:列出所有 screen 会话。
screen -r <name/id>:重新连接到一个已断开的 screen 会话。
screen -x <name/id>:连接到一个正在运行的 screen 会话,允许多个用户看到同一个会话。
screen -d <name/id>:断开一个 screen 会话。
#使用 -r 当你想要独占地重新连接到一个 screen 会话,如果会话正在被使用,你需要首先断开它。
#使用 -x 当你想加入一个已经被一个或多个用户连接的 screen 会话,允许多用户同时操作和查看。
5、使用阿里云镜像
pip3 config list
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com
六、常见问题
1、Cannot assign requested address (或无法正常显示lab登录界面)
n | extension was successfully loaded.
Traceback (most recent call last):File "/home/zhanyong/anaconda3/bin/jupyter-lab", line 11, in <module>sys.exit(main())^^^^^^File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/jupyter_server/extension/application.py", line 618, in launch_instanceserverapp = cls.initialize_server(argv=args)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/jupyter_server/extension/application.py", line 588, in initialize_serverserverapp.initialize(File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/traitlets/config/application.py", line 113, in innerreturn method(app, *args, **kwargs)^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/jupyter_server/serverapp.py", line 2609, in initializeself.init_httpserver()File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/jupyter_server/serverapp.py", line 2432, in init_httpserverself._find_http_port()File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/jupyter_server/serverapp.py", line 2479, in _find_http_portsockets = bind_sockets(port, self.ip)^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/zhanyong/anaconda3/lib/python3.11/site-packages/tornado/netutil.py", line 162, in bind_socketssock.bind(sockaddr)
OSError: [Errno 99] Cannot assign requested address
(base) zhanyong@532lab:~$ screen
一般是端口没有放行,或ip设置错误,一般需要修改vim .jupyter/jupyter_notebook_config.py文件的内容
可以按照下方的配置进行检查
c.ServerApp.ip = '*' #本机静态IP 建议使用*
c.ServerApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$XXXXXXXXXX'
# 这个是刚要保存的秘钥
c.ServerApp.open_browser = False # 运行时不打开本机浏览器
c.ServerApp.port = 7890 #端口,可以随意指定 不与系统其他端口冲突即可
c.ServerApp.allow_remote_access = True #允许远程访问
c.ServerApp.root_dir = '/home/zhanyong' # 如果服务器包含多个用户,建议修改初始路径,注意最后不需要使用/结束
2、401 POST /login?next=%2Flab (@100.68.1.103) 13.39ms
一般是密码设置错误,导致未能成功进行登录,可以重新设置密码jupyter notebook password会直接覆盖之前的数据
3、torch等依赖显示未安装
import torch# 显示 PyTorch 版本
print(f"PyTorch version: {torch.__version__}")# 检查是否可以使用CUDA
cuda_available = torch.cuda.is_available()
print(f"CUDA available: {cuda_available}")# 如果CUDA可用,显示CUDA版本
if cuda_available:print(f"CUDA version: {torch.version.cuda}")print(f"Number of GPUs: {torch.cuda.device_count()}")print(f"GPU Name: {torch.cuda.get_device_name(0)}")
一般是启动jupyter-lab时候的环境不是你的虚拟环境,而是在base环境下,因为我们这里有初始化的环境,切换到自己的环境即可。
4、不知道本地访问lab的地址
使用jupyter-lab界面会有显示,使用http://服务器ip:端口/lab即可访问