下载大模型,保存阿里云盘

一、解决场景

下载模型或数据集,到国内云GPU平台、阿里云盘(便于持久化储存,或者分享朋友)。

及时收藏,下次还能找到!

二、优势

此方法可以避免大文件下载到本地——占用内存,受到小带宽网络的限制。

三、使用工具

大带宽服务器:这个服务器何必你自己的服务器🐶

本期所使用的服务器在下面的表格之中

  • 除AutoDL外,其余的都是的GPU学习打榜平台,可以免费使用GPU,由于我们操作只涉及文件的上传下载,所以尽量不要占用GPU资源,选择cpu环境即可。只要你不用GPU,不就相当于一个linux的服务器,且它们的带宽相当大。
  • 对于部分学习平台,磁盘限制并不严格,可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径

四、使用方法

下载模型

1. 从魔搭社区(modelscope)下载模型

速度对比

我们,以下载stable-diffusion-v1-4为例,模型大小在11G左右(再大的文件逐个平台测试有点浪费时间),测试模型下载到平台指定目录所花费的时间,测试时段在晚上,由于网速波动受影响一因素较多,测试结果仅对本次结果有效!

  • 函数使用(cache_dir为指定目录)
#模型下载,出现代码错误,请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')
  • 结果比较
平台cpu环境特点时间
魔搭社区 免费 8h 32g单次最长运行10小时,磁盘限制90G左右1分22秒
阿里天池社区 免费 2h4g单次运行时长最大9小时1分36秒
百度 AIstudio 免费 2h8g没有sudo密码2分49秒
中国移动 九天毕昇 8h32g磁盘200G限制4分50秒
CSDN Inscode 免费1h1g磁盘挂载>700G较慢
AutoDL ,0.5h2g,0.1元/h免费50g磁盘5分20秒
本地完全取决你你的下载速度

2. 从huggingface下载

from huggingfacehub import snapshotdownload
snapshotdownload(repoid='CompVis/stable-diffusion-v1-4', repotype='model', localdir='./modeldir', resumedownload=True)

平台带宽肯定是足够的,但是明显从huggingface上下载没那么快了,这一部分取决于你代理服务器的速度了,如何使用,请查看第3部分。

代理速度因人而异,这里不详细测试

平台cpu环境限制时间
魔搭社区 免费 8h 32g单次最长运行10小时,内存挂载90G左右5分40秒
阿里天池社区 免费 2h4g单次运行时长最大9小时4分10秒
百度 AIstudio 免费 2h8g没有开放sudo权限,无法开代理

3. 参考项目

这里自行去github搜索,Elegycloud大佬的项目

保存模型

基于上面的介绍,下载到平台之后,如果不使用对应平台来进行学习,可以保存下来。

这里就没办法逐个平台列个表格对比测试了,因为这个比较热门的模型,只要别人上传过,再次上传阿里云盘,几乎就是秒传,上传速度大家自己测试。

1. 保存到百度网盘

找了一圈,关于百度网盘API开发的项目不多,找到这个,但是我试用下来感觉不是很好用。项目地址

2. 保存阿里云盘

相比之下,即使阿里云盘没有vip,现阶段还是挺好用的。这是个不带图形化的项目。

wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zipunzip aliyunpan-v0.2.8-linux-386.zipcd aliyunpan-v0.2.8-linux-386./aliyunpanlogin  # RefreshToken 获取方法见原项目

登录阿里云盘,浏览器-右键检查或者按F12,按照步骤获取

在这里插入图片描述

  • 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径
  • 上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径

写在最后

👍🏻点赞,你的认可是我创作的动力!
⭐收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/588041.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STL——常用算术生成算法

注&#xff1a;算术生成算法属于小型算法&#xff0c;使用时包含头文件#include<numeric> 算法简介&#xff1a; accumulate—— // 计算容器元素累计总和fill—— // 向容器中添加元素 1.accumulate 函数原型&#xff1a; accumulate(iterator beg, iterator end, …

西班牙语中关于时间的相关表达-柯桥 外贸西语学习

今天来为大家介绍一下询问时间和被别人询问时间西语相关表达。 如何向他人询问时间&#xff1f; Qu hora es? 几点了&#xff1f; Tienes hora? 你知道时间吗&#xff1f; Me puede decir la hora? 你可以告诉我时间吗&#xff1f; 如何表达时间&#xff1f;我…

Kafka安装及简单使用介绍

&#x1f353; 简介&#xff1a;java系列技术分享(&#x1f449;持续更新中…&#x1f525;) &#x1f353; 初衷:一起学习、一起进步、坚持不懈 &#x1f353; 如果文章内容有误与您的想法不一致,欢迎大家在评论区指正&#x1f64f; &#x1f353; 希望这篇文章对你有所帮助,欢…

Pillow图像处理(PIL.Image类的详细使用)

文章目录 Opencv、Matplotlib(plt)、Pillow(PIL)、Pytorch读取数据的通道顺序Python图像处理库&#xff08;PIL、Pillow、Scikit-image、Opencv&#xff09;Pillow 官方文档&#xff08;超详细&#xff0c;超推荐&#xff09;一、PIL库与Pillow库的区别二、Pillow库&#xff08…

【Linux】Shell

Shell 文章目录 Shell1. 简介2. Shell 脚本入门3. 变量4. 运算式5. 条件判断6. 流程控制6.1 if 判断6.2 case 语句6.3 for 循环6.4 while 循环 7. read 读取控制台输入8. 函数8.1 系统函数8.2 自定义函数 9. 正则表达式入门10. 文本处理工具10.1 cut10.2 awk 11. 归档文件案例 …

特殊的C++vector容器迭代器失效情况:vector iterator not incrementable

众所周知&#xff0c;容器删除元素会使当前使用的迭代器失效&#xff0c;除了重新分配迭代器&#xff0c;还可以使用下面的写法&#xff0c;使删除元素时重新赋值一个有效的迭代器 for(auto iter v->begin();iter!v->end();){if(...){//判断条件iter v->erase(iter)…

X210 Linux开发板挂载NFS文件系统

软件版本 VirtualBox v7.0、Ubuntu 20.04.3 LTS 网络搭建 采用“路由器”“有线网”来将Linux开发板和Ubuntu虚拟机连接在同一个局域网中。具体接线如下&#xff1a; Linux开发板通过网线直接连接到“路由器”的LAN接口上&#xff0c;然后笔记本电脑通过Wifi与路由器连接。…

burpsuite模块介绍之dashboard(仪表板)

导语 "Dashboard主要分为三块:任务、事件日志和动态问题发现" 任务(Tasks):在这个模块中,你可以创建和管理不同类型的任务。其中包括两个预设模板: "来自代理(所有流量)的被动抓取"(live passive crawl from proxy (all traffic)):该任务模板…

纯CSS的华为充电动画,它来了

&#x1f4e2; 鸿蒙专栏&#xff1a;想学鸿蒙的&#xff0c;冲 &#x1f4e2; C语言专栏&#xff1a;想学C语言的&#xff0c;冲 &#x1f4e2; VUE专栏&#xff1a;想学VUE的&#xff0c;冲这里 &#x1f4e2; Krpano专栏&#xff1a;想学Krpano的&#xff0c;冲 &#x1f514…

location常用属性和方法

Hi i,m JinXiang ⭐ 前言 ⭐ 本篇文章主要介绍在在JavaScript中location常用属性和方法以及部分理论知识 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f4dd;私信必回哟&#x1f601; &#x1f349;博主收将持续更新学习记录获&#xff0c;友友们有任何问题可…

MySql 第三方工具SQL Sugar

MySQL 是一个非常流行和强大的开源关系数据库管理系统。由于其开源性质&#xff0c;许多第三方工具和库被开发出来&#xff0c;以帮助用户更有效地使用 MySQL。这些第三方工具提供了各种功能&#xff0c;包括数据库管理、SQL 查询生成和优化、备份和恢复等。在这篇博客中&#…

vol----学习随记!!!

目录 一、代码生成1.先新建一个功能的对应的代码配置各项解释&#xff1a; 2.后设置配置菜单3.再点保存&#xff0c;生成vue页面&#xff0c;生成model&#xff0c;生成业务类4.再通过菜单设置编写系统菜单 一、代码生成 1.先新建一个功能的对应的代码配置 各项解释&#xff…

二手房交易流程及避坑指南

文章目录 一、写作目的二、主要流程1、查档2、签定金合同3、网签4、交首付5、解押过户6、出产证7、拿房款8、交房 一、写作目的 近几个月房价一直跌跌不休&#xff0c;对于投资客来说这段时间肯定不好过&#xff0c;但这段时间也正是置换房子的好时候&#xff0c;在这次的房产…

Go语言中支持的internal目录配置与组织内私网包配置详解

Go 中的内部包 这里可能会有歧义 可能是 Go 的 internal 目录中的包也可能是指内部开发的包 函数和变量的可见性 对于函数和变量而言&#xff0c;有如下规则&#xff1a;1 &#xff09;小写字母开头的函数变量结构体只能在本包内访问2 &#xff09;大写字母开头的函数变量结…

移动应用开发:揭秘内侧APP封装台的高效

在数字化浪席卷下&#xff0c;移应用已经成连接企业与用户纽带。为了抢占市场先机&#xff0c;快速发布高质量的移动应用成为业竞争的关键。侧APP封装平因此而诞生&#xff0c;成为了应开发者的得助手。以下是内侧APP封装台的全面解读&#xff0c;助在应用开发海洋中乘风破浪。…

基于CMake的大型C++工程组织

此文适合大型C工程&#xff0c;涉及到多个自定义库&#xff0c;多个第三方库&#xff0c;以及还有给第三方用户进行二次开发的需求下&#xff0c;应对这种复杂编译环境下的工程组织方式的一些经验介绍&#xff0c;希望给大型工业软件的开发者一些参考 一个大型工程&#xff0c…

【JavaFX】JDK11 基于Gson、hutool、Jackson持久化存储实体类数据的解决方案 (读取、追加、去重json对象)

文章目录 开发环境效果前言一、Gson是什么?二、使用步骤1.引入依赖2.创建实体类创建 JsonFileService类创建JsonFileService的实现类 JsonFileServiceImpl三、实现效果开发环境 JDK11IDEA 2023.3Gson、hutool、JacksonJavaFX 11效果 前言 使用JDK1

【每日一题】【12.29】 - 【12.31】年终收尾

&#x1f525;博客主页&#xff1a; A_SHOWY&#x1f3a5;系列专栏&#xff1a;力扣刷题总结录 数据结构 云计算 数字图像处理 力扣每日一题_ 这三天的题目难度相对较小&#xff0c;基本都为模拟题&#xff0c;但是第二三的题目年份贡献类型很有代表性。2023年最后三天年终收…

MongoDB 数据类型

目录 BSON 类型 二进制数据&#xff08;Binary Data&#xff09; ObjectId ObjectId定义 文档中的ObjectId ObjectId的单调性 字符串&#xff08;String&#xff09; 时间戳&#xff08;Timestamps&#xff09; 日期&#xff08;Date&#xff09; BSON类型的排序 数…

I/O多路复用

I/O就是对缓冲区的操作 I/O多路复用使得程序能同时监听多个文件描述符能够提高程序的性能 I/O多路复用是一种有效的处理多个I/O事件的机制&#xff0c;允许一个单独的进程或线程来监视多个文件描述符&#xff08;sockets、文件、设备等&#xff09;&#xff0c;并在其中任何一个…