【服务器】上传文件到服务器并训练深度学习模型下载服务器文件到本地

前言:本文教程为,上传文件到服务器并训练深度学习模型,与下载服务器文件到本地。演示指令输入,完整的上传文件到服务器,并训练模型过程;并演示完整的下载服务器文件到本地的过程。

本文使用的服务器为云服务器,为蓝耘云平台,注册登录链接如下:

https://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51eicon-default.png?t=O83Ahttps://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51e目录

1.上传文件到服务器并训练模型

2.下载服务器文件到本地


1.上传文件到服务器并训练模型

需要的指令如下,命令行终端Terminal依次输入:

unzip Archie_yolo11.zip

conda create -n Archie_yolo11 python=3.8.18

conda init 

conda activate Archie_yolo11

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

pip install -e .

python main.py

接下来演示指令输入,完整的上传文件到服务器,并训练模型过程(指令可按需,更换自己需要的版本,例如Python、pytorch版本等)


 首先,登录服务器,我用的是蓝耘元生代智算云平台

注册,登录链接如下:

https://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51eicon-default.png?t=O83Ahttps://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51e进入后,选择容器云

选择租用新实例

租一个服务器,如下为我租用的服务器详情,可按需自行选择

镜像:lanyun/pytorch-2.0.1-py3.8-cuda11.8-u20.04:v1.5

GPU:RTX 3090 * 1卡

CPU:Intel(R) Xeon(R) Gold 6152 CPU * 10核

内存:30GB

硬盘:系统盘: 30GB,数据盘: 50GB 


然后点击如下JupyterLab进入

 进入后,界面如下 ,点击进入lanyun-tmp文件夹

 将本地工程文件压缩包(我上传的是yolo11工程,文件名为Archie_yolo11),压缩包拖进该文件夹下,底部是上传压缩包文件进度,等待上传完成。

 上传文件完成后,在该文件夹下,点击Terminal进入命令行终端界面

 输入如下指令,进行解压缩,等待解压缩完成(Archie_yolo11是压缩包文件夹名字)

unzip Archie_yolo11.zip
  • 这是一个解压命令,用于解压名为Archie_yolo11.zip的压缩文件。在执行此命令前,确保当前目录下存在该压缩文件,并且你有读取该文件的权限。

解压完成后,输入如下指令

conda create -n Archie_yolo11 python=3.8.18
  • conda是一个流行的开源包管理系统和环境管理系统。
  • create表示创建一个新的环境。
  • -n Archie_yolo11指定新环境的名称为Archie_yolo11
  • python=3.8.18指定在新环境中安装的 Python 版本为 3.8.18。

碰到这个情况就输入y

进入解压后的文件夹打开Terminal进入命令行终端界面,输入如下指令

conda init 
  • 这个命令用于初始化conda,使conda能够在当前的终端环境中正常工作。它会修改终端的配置文件(如.bashrc.zshrc等,取决于你使用的终端),以便在每次启动终端时能够正确加载conda

接着输入如下指令

conda activate Archie_yolo11
  • 用于激活名为Archie_yolo11conda环境。激活后,后续安装的包和执行的命令都会在这个环境中进行,避免不同项目之间的包依赖冲突。

接着输入如下指令

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
  • 这是在当前激活的conda环境(Archie_yolo11)中安装 PyTorch 及其相关库。
  • pytorch==2.0.1指定安装的 PyTorch 版本为 2.0.1。
  • torchvision==0.15.2指定安装的torchvision版本为 0.15.2,torchvision提供了计算机视觉相关的工具和数据集。
  • torchaudio==2.0.2指定安装的torchaudio版本为 2.0.2,用于音频处理。
  • pytorch-cuda=11.7指定安装支持 CUDA 11.7 的 PyTorch 版本。
  • -c pytorch -c nvidia指定从pytorchnvidia这两个conda通道下载和安装这些包。

接着输入如下指令

pip install -e .
  • pip是 Python 的包管理工具。
  • -e表示 “可编辑模式”(editable mode),“.” 表示当前目录。这个命令会在当前激活的conda环境中以可编辑模式安装当前目录下的 Python 项目。这意味着你对项目源代码所做的任何更改都会立即生效,而不需要重新安装包。

修改例如dataset.yaml文件里的数据集路径为服务器下的路径,如有其他路径修改也一样

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: /root/lanyun-tmp/Archie_yolo11/datasets  # dataset root dir
train: /root/lanyun-tmp/Archie_yolo11/datasets/images/train      # train images (relative to 'path')  6471 images
val: /root/lanyun-tmp/Archie_yolo11/datasets/images/val         # val images (relative to 'path')  548 images
test: /root/lanyun-tmp/Archie_yolo11/datasets/images/test # test images (optional)  1610 images

 然后输入如下指令,运行main.py文件

python main.py
  • 这是在当前环境中执行名为main.py的 Python 脚本。在执行此命令前,确保main.py文件存在于当前目录,并且该脚本的依赖项都已正确安装。

即可开始训练模型

以上,完成上传文件到服务器并训练深度学习模型

2.下载服务器文件到本地

接下来演示完整的下载服务器文件到本地的过程。

需要下载两个软件:Xshell、Xftp(网上下载教程很多,自行下载)

如下为我使用的版本信息

安装完成以上两个软件后,打开Xshell软件,点击如下新建会话,或点击文件新建会话

进入如下界面

 复制服务器的如下登录指令,SSH和密码

例如我的SSH如下

 ssh -p 22xxx root@link.lanyun.net

用户名为root

协议为SSH

主机为link.lanyun.net

端口号为22xxx

如下名称为:新建会话(3),可自定义名称

然后点击连接即可

 然后弹出如下界面,可选择为接受并保存,或一次性接受

然后输入用户名为root 

然后会弹出输入密码,输入在服务器复制的密码输入即可 

如下所示,成功连接上服务器 

然后在Xshell软件点击如下图标,会自动打开Xftp软件,弹出的Xftp软件的右侧为服务器的文件夹

弹出如下窗口则选择接受并保存或选择一次性接受 

在Xftp软件中,将右侧服务器里的文件拖动到左侧即可下载到本地(本地电脑),底部为传输进度。

以上,完成了详细介绍上传文件到服务器并训练深度学习模型&下载服务器文件到本地

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/65627.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从零开始开发纯血鸿蒙应用之逻辑封装

从零开始开发纯血鸿蒙应用 一、前言二、逻辑封装的原则三、实现 FileUtil1、统一的存放位置2、文件的增删改查2.1、文件创建与文件保存2.2、文件读取2.2.1、读取内部文件2.2.2、读取外部文件 3、文件删除 四、总结 一、前言 应用的动态,借助 UI 响应完成&#xff0…

python读写文件的三种做法

对于文件操作,python提供了3种做法:open(), os.open() 和with open()语句。 1. open()函数:一般用于更高级的文件读写操作,即人能读懂的用法,如果是写入数据,可用传入字符串。 用法:open(path…

MySQL如何只取根据某列连续重复行的第一条记录

前言 MySQL如何只取根据某列连续重复行的第一条记录,条件:某列、连续、验重 建表准备 DROP TABLE IF EXISTS test; CREATE TABLE test (id bigint NOT NULL,time datetime NULL DEFAULT NULL,price int NULL DEFAULT NULL,PRIMARY KEY (id) USING BT…

Fetch处理大模型流式数据请求与解析

为什么有的大模型可以一次返回多个 data? Server-Sent Events (SSE):允许服务器连续发送多个 data: 行,每个代表一个独立的数据块。 流式响应:大模型服务通常以流式响应方式返回数据,提高响应速度。 批量处理&#x…

MySQL 中存储金额数据一般使用什么数据类型

在 MySQL 中存储金额数据时,应该谨慎选择数据类型,以确保数据的精度和安全性。以下是几种常用的数据类型及其适用性: DECIMAL 类型: 描述:DECIMAL 类型是专门为存储精确的小数而设计的。它可以指定小数点前后的数字位数…

【数据结构】链表(1):单向链表和单向循环链表

链表 链表是一种经典的数据结构,它通过节点的指针将数据元素有序地链接在一起,在链表中,每个节点存储数据以及指向其他节点的指针(或引用)。链表具有动态性和灵活性的特点,适用于频繁插入、删除操作的场景…

离散数学考前一天

判断强连通,单向连通,弱连通: 求可达性矩阵P,P里面全是1,就是强连通 否则看P与P的转置矩阵,如果除了主对角线是0,其他全是1,就是单向连通 否则看A1=A与A的转置矩阵&am…

【服务器项目部署】⭐️将本地项目部署到服务器!

目录 🍸前言 🍻一、服务器选择 🍹 二、服务器环境部署 2.1 java 环境部署 2.2 mysql 环境部署 🍸三、项目部署 3.1 静态页面调整 3.2 服务器端口开放 3.3 项目部署 ​ 🍹四、测试 🍸前言 小伙伴们大家好…

chrome缓存机制以及验证缓存机制

一、Chrome 缓存机制 浏览器缓存机制旨在提高网页加载速度、减少服务器负载和节约带宽。Chrome 的缓存主要包括以下几种类型: 1. 强缓存 (Strong Cache) 无需向服务器发送请求即可使用缓存的资源。由 HTTP 响应头控制,包括: Expires&…

西门子DBX DBD DBB DBW的关系

DB10.DBD0 DB10.DBW0DB10.DBW2 DB10.DBB0DB10.DBB1DB10.DBB2DB10.DBB3 DB10.DBX0.00.7DB10.DBX1.01.7DB10.DBX2.02.7DB10.DBX3.03.7 使用之前需要在DB10中先定义,如果你仅在DB10中定义了一个DBD0,那么原则上你是可以使用上述所有地址的,但…

Android `android.graphics` 包深度解析:架构与设计模式

Android android.graphics 包深度解析:架构与设计模式 目录 引言android.graphics 包概述核心类与架构 CanvasPaintBitmapColorPathShaderMatrix设计模式在 android.graphics 中的应用 工厂模式装饰者模式策略模式享元模式高级图形处理技术 硬件加速离屏渲染自定义 View 中的…

Nginx的性能分析与调优简介

Nginx的性能分析与调优简介 一、Nginx的用途二、Nginx负载均衡策略介绍与调优三、其他调优方式简介四、Nginx的性能监控 一、Nginx的用途 ‌Nginx是一种高性能的HTTP和反向代理服务器,最初作为HTTP服务器开发,主要用于服务静态内容如HTML文件、图像、视…

vue2使用pdfjs-dist和jsPDF生成pdf文件

vue2使用pdfjs-dist和jsPDF生成pdf文件 1、安装依赖 npm install pdfjs-dist2.6.3472、引入依赖 import { jsPDF } from jspdf// 使用require方式导入pdfjs-dist v2.6.347,高版本报错(import导入会报错:GlobalWorkerOptions undefined&…

sklearn_pandas.DataFrameMapper的用法

文章目录 介绍主要作用基本用法示例对不同列应用不同的转换器对多列应用相同的转换器输出为 Pandas DataFrame 注意事项转换器的适用性:输出格式:与 scikit-learn 的兼容性: 介绍 DataFrameMapper 是 sklearn-pandas 库中的一个工具&#xf…

HTML——31.定义媒介资源

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>定义媒介资源</title></head><body><!--source标签用来为<video>视频和<audio>音频 &#xff0c;定义媒介资源--><!--src属性&…

宝塔-firefox(Docker应用)-构建自己的Web浏览器

安装基础软件 宝塔中安装firefox(Docker应用) 。宝塔中需要先安装docker及docker-composefirefox配置安装 点击firefox应用&#xff0c;选择【安装配置】点击右边绿色按钮&#xff0c;进行安装&#xff0c;这一步等待docker-compose根据你的配置初始化docker应用 等待安装 …

ArcGIS土地利用数据制备、分析及基于FLUS模型土地利用预测(数据采集、处理、分析、制图)

FLUS&#xff08;Flexible Land Use Simulation&#xff09;模型是一个用于模拟土地利用变化的模型&#xff0c;它结合了经济理论、土地利用和土地覆盖变化的动态过程。FLUS模型由美国农业部农业经济研究服务局&#xff08;ERS&#xff09;开发&#xff0c;旨在提供对美国及全球…

【文献精读笔记】Explainability for Large Language Models: A Survey (大语言模型的可解释性综述)(一)

****非斜体正文为原文献内容&#xff08;也包含笔者的补充&#xff09;&#xff0c;灰色块中是对文章细节的进一步详细解释&#xff01; 三、传统微调范式&#xff08;Traditional Fine-Tuning Paradigm&#xff09; 在这个范式中&#xff0c;首先在大量未标记的文本数据上预…

【泰克生物】从酵母细胞表面展示到抗体筛选:实现精准药物发现

在现代药物发现领域&#xff0c;精准筛选和优化抗体已成为一种必不可少的技术手段。传统的抗体筛选方法依赖于动物免疫或体外筛选&#xff0c;这些方法往往成本高且周期长。近年来&#xff0c;酵母细胞表面展示技术&#xff08;Yeast Surface Display, YSD&#xff09;成为一种…

C++ 设计模式:门面模式(Facade Pattern)

链接&#xff1a;C 设计模式 链接&#xff1a;C 设计模式 - 代理模式 链接&#xff1a;C 设计模式 - 中介者 链接&#xff1a;C 设计模式 - 适配器 门面模式&#xff08;Facade Pattern&#xff09;是一种结构型设计模式&#xff0c;它为子系统中的一组接口提供一个一致&#…