【安利向】入坑半年的GPU云平台,三分钟训练起飞!xiu~

大家好,我是Joyce,和小瑶一样,也是搞算法的,不过还在学术界摸鱼,偶尔能抓到一条顶会锦鲤,大多数时候,都是一些小鱼小虾,目前已被boss放养,每周组会都是隐形人...

 

转眼,暑假余额告警,低年级小盆友兴高采烈,等着食堂开门,高年级大盆友一脸平静,透露着打工人的自觉,没看完的代码,没复现的论文,在导师的一句问候下,突然进入冲刺阶段,ddl才是最强生产力,这句话没毛病。

 

文献看了多少篇了?毕设开题写好了吗?AAAI论文改完了吗?比赛进入复赛了吗......因为导师的关爱,开学前后这段时间,想必都是充实有意义的呢(成年人的微笑

前几天,突然紧张的疫情,又让何时回校成了未知,无法使用学校资源,或者学校GPU不够用,着实困扰着一批童鞋,为了让大家顺利赶上ddl,今天安利一个本人也在用的云平台,希望能解决大家的燃眉之急。

就个人踩坑经历来说, 源云  还是比较容易上手的,如果懒得看文档,又想迅速开启云端训练,让程序快快跑起来,请务必服用本篇教程,3分钟即刻见效文末有粉丝福利,锁住它~

顺便搬了一个官方教程视频,配合观看效果更佳(热知识:本视频关注+点赞+评论后,可以领取20元羊毛券????

 

首先,注册登录gpushare.com,直奔新人礼包准没错,目前恒源云的 人福利有100元礼券 ,代金券可以直接下单,如果跑4.5元/小时的3090,应该有近二十个小时吧。

 

要注意的是,有一些特价机器,比如1.8元/小时的2080ti 、6元/小时的V100,暂不支持代金券,需要先充值再租用,充值没有限制,100元以上就有返券,充值金额也是永久的。

 

计费模式的话,短租可以按量付费,按小时结算,长租可以包周/月,分别享受8.5/7折的优惠力度,学生还有专属折扣,以及  100元学生券 

 

正式创建实例前,选择适合的GPU非常重要,如果模型耗显存,可以考虑16G的5000、24G的3090、32G的V100,如果耗内存,也有单卡分配了64G CPU的机型,具体参考下方的价格表(自己做的,有点简陋请忍住~

 

确定了GPU的类型、数量后,就可以搭建训练环境了,官方镜像里,主流框架TensorFlow、PyTorch、MXNet、PaddlePaddle等都预装了,可以直接勾选需要的版本。

 

如果没有合适的,进入实例后,也能自行安装软件包库,创建自定义镜像,实现长期保存环境,后续无论何时,通过自定义镜像,创建新的实例即可。

 

 

 

几秒完成实例创建后,就可以连接登录实例了,平台支持Xshell、PuTTY、MobaXterm之类的ssh终端登录,JupyterLab、PyCharm、VSCode等编译工具,文档也有详细的使用说明。

 

我一般用页面自带的JupyterLab,无论PC端、移动端,点击链接直接打开,轻松运行终端和代码,交互友好,一用就会,稍微提醒一句,关闭浏览器并不能停止训练,确认终端关闭了才行噢。

 

 

成功登录实例后,接下来的训练,都是在云端进行的,训练所需的代码和数据集,也需要提前传输上去,因此,本地数据传至实例内,这一步骤非常关键。

 

平台数据传输的方式,多种多样,Sftp、Filezilla等都支持,但数据太大的话,难免意外中断,而官方推荐的Oss工具,要靠谱得多,命令简单,速度又快,一分钟理论值3G左右,体验很香。

 

 

至于传输的流程,省钱又快的方式是,通过oss命令工具,先把数据从本地上传到个人数据空间,云盘容量限免50G,训练时,再从个人数据空间下载到实例里。

 

关于实例存放数据的目录,主要有两个,一个是NAS存储,限免50G,多实例共享的,而且长期保存,另一个机器本地盘目录,不限制数据大小,速度快,不过有一定的保存期限,注意备份训练结果就好。

 

 

另外,平台内置了几百个公共数据集,各种主流平台、竞赛平台的数据,每天都在更新,使用时,简单拷贝即可,省去了不少上传时间,若有需要帮助下载的,可以在社区发帖,平台反馈速度挺快的。

 

 

 

数据传输之后,把代码也复制过来,就可以跑起来了,训练过程中,注意关注显卡使用情况,nvidia-smi 或者 py3smi 命令查看,争取提高利用率,让训练达到最佳效果。

 

在这里,分享一些  人使用的tips  :

 

■ 平台团队功能,如果符合条件,一定要申请,真的很方便,之前我和组里成员,跑一个小课题,共享了实例和镜像,协作效率大大加成。

 

■  平台有小程序,可以对实例进行操作,不用一直守着电脑,随时随地就能关机、重启等,公众号也有一些提醒服务,关注领取了代金券后,建议不要取关。

 

■  恒源云应该是活动最多的GPU云平台了,自注册以来,本人参加过3090包周/月抽奖、分享笔记有奖励、200元竞赛赞助、视频号互动送代金券等等,如果希望一直有券白piao,可以在技术社区贴个邀请链接,每成功邀请一位注册,就有20元代金券。

 

■  看到这里,你应该基本了解使用流程了,但平台的宝藏文档,也不容错过值得一看,Conda、Visdom、Spyder、MMCV等都有教程,总能发现惊喜哟。

 ▼ 扫码直达大型福利会场~

 

不知不觉码了这么多字...虽然本篇主要介绍GPU云平台的使用方法,但是比起训练工具,训练过程中的思考,如何设计优化模型,如何提高验证效果,并发现总结创新点,能真正解决一些实际问题,这才是深度学习科研的本质和追求吧。

 

临近开学,与其陷入内卷焦虑,不如先从复现一篇论文开始,打开github,登录 源云gpushare.com ,开始你的深度学习训练吧,一切从这一刻,就前进了一小步。

# 文末彩蛋 #

小可爱萌,转发本篇推送至朋友圈/社群(200人以上),保留2小时后截图发给客服,即可领取恒源云代金券(能直接下单跑训练噢),本号专属限量福利,先到先得!

本号粉丝转发可获得20元代金券,若完成恒源云学生认证,奖励升级为50元代金券8.31前截止领取哈~

扫码联系客服领取福利

▼ 点击“阅读原文”,注册领取 100元新人礼券

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/478181.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rocketQA学习笔记

端到端问答系统 rocketQA 问答技术发展回顾:

开源开放 | 糖尿病知识图谱DiaKG(CCKS2021)

OpenKG地址:http://openkg.cn/dataset/diakg阿里云天池:https://tianchi.aliyun.com/dataset/dataDetail?dataId88836开放许可协议:CC BY-SA 4.0 (署名相似共享)贡献者:妙健康(常德杰、刘朝振、…

LeetCode 501. 二叉搜索树中的众数(中序遍历)

文章目录1. 题目2. 中序遍历1. 题目 给定一个有相同值的二叉搜索树(BST),找出 BST 中的所有众数(出现频率最高的元素)。 假定 BST 有如下定义: 结点左子树中所含结点的值小于等于当前结点的值 结点右子树…

开源开放 | 移动应用知识图谱MAKG(CCKS2021)

OpenKG地址:http://openkg.cn/dataset/makgGitHub地址:https://github.com/Everglow123/MAKGMAKG网站:http://www.makg.com.cn开放许可协议:CC BY-SA 4.0 (署名相似共享)贡献者:东南大学(周恒、…

恕我直言,你的实验结论可能严重依赖随机数种子!

文 | python编 | 小轶God does not play dice with the universe ......But BERT Does !包括BERT在内的预训练模型已经是现今NLP工作的标配。但你有没有考虑过,这些工作的实验结论可能都是虚假的?在 Bertology 中,大家从 huggingface 上下载 …

Spring MVC注解故障追踪记

Spring MVC是美团点评很多团队使用的Web框架。在基于Spring MVC的项目里,注解的使用几乎遍布在项目中的各个模块,有Java提供的注解,如:Override、Deprecated等;也有Spring提供的注解,如:Control…

LeetCode 951. 翻转等价二叉树(递归)

文章目录1. 题目2. 递归解题1. 题目 我们可以为二叉树 T 定义一个翻转操作,如下所示:选择任意节点,然后交换它的左子树和右子树。 只要经过一定次数的翻转操作后,能使 X 等于 Y,我们就称二叉树 X 翻转等价于二叉树 Y…

开源开放 | 开源大学在线实践数据集及知识图谱MOOPer(CCKS2021)

OpenKG地址:http://openkg.cn/dataset/mooper头歌平台:https://www.educoder.net/ch/rest开放许可协议:CC BY-SA 4.0 (署名相似共享)贡献者:湖南智擎科技有限公司(黄井泉)&#xff0…

python实现文件传输

发送者: send_file.py def send_file(filename: str "mytext.txt", testing: bool False) -> None:import socketport 12312 # Reserve a port for your service.sock socket.socket() # Create a socket objecthost socket.gethostname() # …

不同于NLP,数据驱动、机器学习无法攻克NLU,原因有三

文 | Walid S. Saba源 | 机器之心自然语言理解(NLU)是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。近年来,机器学习虽然被广泛使用,但是却不能很好的解决自然语言理解问题,其中可能涉…

分布式系统互斥性与幂等性问题的分析与解决

随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。为了解决这一系列问题,系统架构也…

开源开放 | 多模态实体链接数据集MELBench(CCKS2021)

OpenKG地址:http://openkg.cn/dataset/melbenchGitHub地址:https://github.com/seukgcode/MELBench开放许可协议:CC BY-SA 4.0 (署名相似共享)贡献者:东南大学(汪鹏、周星辰、邓臻凯、李国正、谢…

LeetCode 1219. 黄金矿工(回溯)

文章目录1. 题目2. 回溯DFS解题1. 题目 你要开发一座金矿,地质勘测学家已经探明了这座金矿中的资源分布,并用大小为 m * n 的网格 grid 进行了标注。每个单元格中的整数就表示这一单元格中的黄金数量;如果该单元格是空的,那么就是…

发现一篇专门吐槽 NLP 内卷现状的 ACL 论文 ...

文 | Severus编 | 小轶随着大模型的发展,NLP领域的榜单可说是内卷到了无以复加,现在去浏览各大公开榜单,以至于各个比赛,随处可见BERT、RoBERTa的身影,甚至榜单中见到各大large模型的集成版也并非偶然。在发论文的时候…

大促活动前团购系统流量预算和容量评估

本文整理自美团点评技术沙龙第11期:移动端测试分享。 美团点评技术沙龙由美团点评技术团队主办,每月一期。每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。 目前沙龙会分别在北京、上海和厦门等…

论文浅尝 | 融合多层次领域知识的分子图对比学习

笔记整理 | 方尹,浙江大学在读博士,研究方向:图表示学习论文地址:https://arxiv.org/pdf/2106.04509.pdf动机目前基于图的对比学习有以下几个问题:不同领域的图,(比如social network和分子图&am…

LeetCode 1028. 从先序遍历还原二叉树(栈)

文章目录1. 题目2. 栈解题1. 题目 我们从二叉树的根节点 root 开始进行深度优先搜索。 在遍历中的每个节点处,我们输出 D 条短划线(其中 D 是该节点的深度),然后输出该节点的值。(如果节点的深度为 D,则其…

python 怎么将列表中的字典安照某一个key输出到csv,python如何把字典数据存储进csv文件

示例代码 import csv fieldnames["A","B","C"]#数据列名dicts[{A: 1, B: 2, C:3},{A: 2, B: 3, C:4},{A: 3, B: 4, C:5},{A: 4, B: 5, C:6},{A: 5, B: 6, C:7},{A: 9, B: 7, C:8},]with open(test.csv, a, newline,encodingutf_8_sig) as f: wr…

基于深度学习方法的图像分割,差距不止一点点

图像分割(image segmentation)技术是计算机视觉领域的一个重要的研究方向,图像分割是计算机视觉中的一个关键过程。它包括将视觉输入分割成片段以简化图像分析。片段表示目标或目标的一部分,并由像素集或“超像素”组成。图像分割…

Java Hotspot G1 GC的一些关键技术

前言 G1 GC,全称Garbage-First Garbage Collector,通过-XX:UseG1GC参数来启用,作为体验版随着JDK 6u14版本面世,在JDK 7u4版本发行时被正式推出,相信熟悉JVM的同学们都不会对它感到陌生。在JDK 9中,G1被提议…