下载大模型,保存阿里云盘

一、解决场景

下载模型或数据集,到国内云GPU平台、阿里云盘(便于持久化储存,或者分享朋友)。

及时收藏,下次还能找到!

二、优势

此方法可以避免大文件下载到本地——占用内存,受到小带宽网络的限制。

三、使用工具

大带宽服务器:这个服务器何必你自己的服务器🐶

本期所使用的服务器在下面的表格之中

  • 除AutoDL外,其余的都是的GPU学习打榜平台,可以免费使用GPU,由于我们操作只涉及文件的上传下载,所以尽量不要占用GPU资源,选择cpu环境即可。只要你不用GPU,不就相当于一个linux的服务器,且它们的带宽相当大。
  • 对于部分学习平台,磁盘限制并不严格,可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径

四、使用方法

下载模型

1. 从魔搭社区(modelscope)下载模型

速度对比

我们,以下载stable-diffusion-v1-4为例,模型大小在11G左右(再大的文件逐个平台测试有点浪费时间),测试模型下载到平台指定目录所花费的时间,测试时段在晚上,由于网速波动受影响一因素较多,测试结果仅对本次结果有效!

  • 函数使用(cache_dir为指定目录)
#模型下载,出现代码错误,请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')
  • 结果比较
平台cpu环境特点时间
魔搭社区 免费 8h 32g单次最长运行10小时,磁盘限制90G左右1分22秒
阿里天池社区 免费 2h4g单次运行时长最大9小时1分36秒
百度 AIstudio 免费 2h8g没有sudo密码2分49秒
中国移动 九天毕昇 8h32g磁盘200G限制4分50秒
CSDN Inscode 免费1h1g磁盘挂载>700G较慢
AutoDL ,0.5h2g,0.1元/h免费50g磁盘5分20秒
本地完全取决你你的下载速度

2. 从huggingface下载

from huggingfacehub import snapshotdownload
snapshotdownload(repoid='CompVis/stable-diffusion-v1-4', repotype='model', localdir='./modeldir', resumedownload=True)

平台带宽肯定是足够的,但是明显从huggingface上下载没那么快了,这一部分取决于你代理服务器的速度了,如何使用,请查看第3部分。

代理速度因人而异,这里不详细测试

平台cpu环境限制时间
魔搭社区 免费 8h 32g单次最长运行10小时,内存挂载90G左右5分40秒
阿里天池社区 免费 2h4g单次运行时长最大9小时4分10秒
百度 AIstudio 免费 2h8g没有开放sudo权限,无法开代理

3. 参考项目

这里自行去github搜索,Elegycloud大佬的项目

保存模型

基于上面的介绍,下载到平台之后,如果不使用对应平台来进行学习,可以保存下来。

这里就没办法逐个平台列个表格对比测试了,因为这个比较热门的模型,只要别人上传过,再次上传阿里云盘,几乎就是秒传,上传速度大家自己测试。

1. 保存到百度网盘

找了一圈,关于百度网盘API开发的项目不多,找到这个,但是我试用下来感觉不是很好用。项目地址

2. 保存阿里云盘

相比之下,即使阿里云盘没有vip,现阶段还是挺好用的。这是个不带图形化的项目。

wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zipunzip aliyunpan-v0.2.8-linux-386.zipcd aliyunpan-v0.2.8-linux-386./aliyunpanlogin  # RefreshToken 获取方法见原项目

登录阿里云盘,浏览器-右键检查或者按F12,按照步骤获取

在这里插入图片描述

  • 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径
  • 上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径

写在最后

👍🏻点赞,你的认可是我创作的动力!
⭐收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/588041.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

西班牙语中关于时间的相关表达-柯桥 外贸西语学习

今天来为大家介绍一下询问时间和被别人询问时间西语相关表达。 如何向他人询问时间? Qu hora es? 几点了? Tienes hora? 你知道时间吗? Me puede decir la hora? 你可以告诉我时间吗? 如何表达时间?我…

Kafka安装及简单使用介绍

🍓 简介:java系列技术分享(👉持续更新中…🔥) 🍓 初衷:一起学习、一起进步、坚持不懈 🍓 如果文章内容有误与您的想法不一致,欢迎大家在评论区指正🙏 🍓 希望这篇文章对你有所帮助,欢…

Pillow图像处理(PIL.Image类的详细使用)

文章目录 Opencv、Matplotlib(plt)、Pillow(PIL)、Pytorch读取数据的通道顺序Python图像处理库(PIL、Pillow、Scikit-image、Opencv)Pillow 官方文档(超详细,超推荐)一、PIL库与Pillow库的区别二、Pillow库&#xff08…

X210 Linux开发板挂载NFS文件系统

软件版本 VirtualBox v7.0、Ubuntu 20.04.3 LTS 网络搭建 采用“路由器”“有线网”来将Linux开发板和Ubuntu虚拟机连接在同一个局域网中。具体接线如下: Linux开发板通过网线直接连接到“路由器”的LAN接口上,然后笔记本电脑通过Wifi与路由器连接。…

纯CSS的华为充电动画,它来了

📢 鸿蒙专栏:想学鸿蒙的,冲 📢 C语言专栏:想学C语言的,冲 📢 VUE专栏:想学VUE的,冲这里 📢 Krpano专栏:想学Krpano的,冲 &#x1f514…

二手房交易流程及避坑指南

文章目录 一、写作目的二、主要流程1、查档2、签定金合同3、网签4、交首付5、解押过户6、出产证7、拿房款8、交房 一、写作目的 近几个月房价一直跌跌不休,对于投资客来说这段时间肯定不好过,但这段时间也正是置换房子的好时候,在这次的房产…

移动应用开发:揭秘内侧APP封装台的高效

在数字化浪席卷下,移应用已经成连接企业与用户纽带。为了抢占市场先机,快速发布高质量的移动应用成为业竞争的关键。侧APP封装平因此而诞生,成为了应开发者的得助手。以下是内侧APP封装台的全面解读,助在应用开发海洋中乘风破浪。…

基于CMake的大型C++工程组织

此文适合大型C工程,涉及到多个自定义库,多个第三方库,以及还有给第三方用户进行二次开发的需求下,应对这种复杂编译环境下的工程组织方式的一些经验介绍,希望给大型工业软件的开发者一些参考 一个大型工程&#xff0c…

【JavaFX】JDK11 基于Gson、hutool、Jackson持久化存储实体类数据的解决方案 (读取、追加、去重json对象)

文章目录 开发环境效果前言一、Gson是什么?二、使用步骤1.引入依赖2.创建实体类创建 JsonFileService类创建JsonFileService的实现类 JsonFileServiceImpl三、实现效果开发环境 JDK11IDEA 2023.3Gson、hutool、JacksonJavaFX 11效果 前言 使用JDK1

【每日一题】【12.29】 - 【12.31】年终收尾

🔥博客主页: A_SHOWY🎥系列专栏:力扣刷题总结录 数据结构 云计算 数字图像处理 力扣每日一题_ 这三天的题目难度相对较小,基本都为模拟题,但是第二三的题目年份贡献类型很有代表性。2023年最后三天年终收…

I/O多路复用

I/O就是对缓冲区的操作 I/O多路复用使得程序能同时监听多个文件描述符能够提高程序的性能 I/O多路复用是一种有效的处理多个I/O事件的机制,允许一个单独的进程或线程来监视多个文件描述符(sockets、文件、设备等),并在其中任何一个…

Python编程技巧 – format格式化文本

Python编程技巧 – format格式化文本 Python Programming Essentials - Using format() to format texts By JacksonML 本文简要介绍Python语言的format()方法(也即函数)相关实例和技巧,希望对读者有所帮助。 1. format定义和方法 forma…

如何处理并下载Sentinel-5数据

SENTINEL-5是欧洲空间局(European Space Agency,ESA)Copernicus计划中的一颗地球观测卫星。SENTINEL-5的主要任务是监测大气成分,特别是臭氧、氮二氧化物、二氧化硫、甲烷和其他气体的分布。这些观测对于了解大气污染、气候变化和…

Wireshark-win64

前言 Wireshark是使用最广泛的一款「开源抓包软件」,常用来检测网络问题、攻击溯源、或者分析底层通信机制。 它使用WinPCAP作为接口,直接与网卡进行数据报文交换。 Wireshark-win64 前言1 下载地址2 安装 1 下载地址 https://download.csdn.net/down…

k8s搭建(五、k8s可视化管理工具Dashboard配置)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

Vue: 事件修饰符, 键盘事件, 鼠标事件,计算属性

目录 事件修饰符 阻止默认事件 阻止冒泡 允许触发一次 捕获模式 self passive 键盘事件 keyup & keydown 按键别名 注意tab 注意系统按键 自定义按键 鼠标事件 简介 鼠标焦点事件 计算属性 差值语法实现 methods实现 computed实现 get() set() 总…

2023-12-18 LeetCode每日一题(寻找峰值)

2023-12-18每日一题 一、题目编号 162. 寻找峰值二、题目链接 点击跳转到题目位置 三、题目描述 峰值元素是指其值严格大于左右相邻值的元素。 给你一个整数数组 nums,找到峰值元素并返回其索引。数组可能包含多个峰值,在这种情况下,返…

信号与线性系统翻转课堂笔记19——连续/离散系统的零极点与稳定性

信号与线性系统翻转课堂笔记19——连续/离散系统的零极点与稳定性 The Flipped Classroom19 of Signals and Linear Systems 对应教材:《信号与线性系统分析(第五版)》高等教育出版社,吴大正著 一、要点 (1&#x…

解决IDEA上传Git 带有本地编译文件问题

IDEA 版本控制推送代码问题 IDEA开发过程中,使用版本控制Git、Svn或其他版本管理工具提交代码到远程经常遇到一些不重要的文件。这些文件是本地的文件,不需要上传,这个时候就需要通过设置,来改变。 问题解决 在IDEA通过设置&…

旁挂二层隧道转发小实验

WLAN配置 旁挂二层隧道转发 1.基础配置: SW1: system-view vlan batch 100 to 101interface GigabitEthernet 0/0/1 port link-type trunk port trunk pvid vlan 100 //打上管理VLAN的100标签 port trunk allow-pass vlan 100 101interface GigabitEthernet 0/…