uwsgi怎么通过浏览器访问某个脚本_4个Shell小技巧帮你提高机器学习效率:写好脚本,事半功倍...

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

在机器学习的实践过程中,用好Shell能帮你很多节省时间。

最近,有位来自ETHZ的学生分享了一些Shell小技巧。对程序员来说,这些技巧更重要的是让你的思维从琐碎小事中解脱出来,大大提高了工作效率。

f51251419168b8c3b5d1529a92456365.png

下面就是他分享的4个tips。由于本文中涉及到的shell脚本过多,你可以去文末地址中查看所有脚本的源代码。

抓取远程文件

当你在远程服务器上监视程序运行时,如果想把一个远程文件抓取到本地查看,通常你会怎么做?

记下文件路径,打开终端,用rsync之类的工具同步到本地,再到文件浏览器中查看。

实际上不必这么麻烦。只需要事先写好几个shell脚本,就可以避免重复的机械劳动。

在这里强烈推荐iTerm 2,它比Mac自带的终端要强大得多,可以指定某个触发关键词执行某个相应的命令。

be40a3e38f39fc2ef4d210c3dc081a7e.png

iTerm 2下载地址:https://www.iterm2.com/

先在远程服务器上设置一个脚本t。当我们输入r awesome_video.mp4时,它会搜索awesome_video.mp4文件所在路径,并连同主机名以字符串rtransfer 的形式打印出来。

e4f0451672fa12eb6c7ff7188df3041d.gif

rtransfer作为iTerm2的触发关键词,解析出主机和路径,然后调用另一个本地脚本t2。脚本t2将这个视频文件传输到临时目录,然后在该目录中打开Finder。

003bae0b80b6dd90b1add7c6c397fbf5.png

使用iTerm 2触发关键词功能调用脚本,可以大大提升效率,而你要做的只是在前期花费时间定制脚本。

远程访问TensorBoard

除了抓取远程文件,另一个让人痛苦的是访问远程服务器上的TensorBoard实例。你可以设置SSH端口转发,但是哪个端口对应哪个服务器?它们都在Docker容器中。

ngrok可以让你把访问本地端口变成访问URL,比如输入ngrok http 6006后,它会为你生成一个URL网址http://683acac3.ngrok.io,你可以在这个地址中查看TensorBoard实例。

结合脚本n,以更快的速度启动ngrok,然后用脚本tb打开Web浏览器,启动TensorBoard,在十秒内就能从运行目录转到显示图形。

a659a48a5a14a378c60bb06d98ef7315.gif

ngrok有个缺点是它一次只能允许一个会话,因此在使用前需要杀死上一个ngork进程。如果你忘记在另外一台服务器上杀死ngrok,可能会比较麻烦。

ngrok下载地址:https://ngrok.com/

用tbplot代替TensorBoard绘图

对于运行大量metrics的情形,我们需要等待较长时间让TensorBoard加载所有图形。如果使用tbplot脚本,速度会快很多,并且能直接生成图像文件。

98dccf554eaf5d106581ec303ab3a78d.png

tbplot实际上调用的是Matplotlib,缺点是目前只能生成标量图。

tbplot下载地址:https://github.com/mrahtz/tbplot

自动化崩溃监测

运行代码时,最耗费精力的事情就是是担心遇到了错误并崩溃,因此需要不断检查他们的运行情况。

当程序出现问题时,通过警报自动监控可以缓解这种担忧。一般可以把警报发送到邮箱中,为了避免这么麻烦,可以使用sqs-alerts,它依靠AWS AWS Simple Queue服务存储和接收消息。

在每台远程机器上,使用cron运行一个脚本,监控日志并在检测到运行中断时向队列发送消息。然后在本地机器上运行一个服务来监控队列,并在收到消息时弹出警报。

8156076fd29161941148df960ce78446.gif

sqs-alerts下载地址:https://github.com/mrahtz/sqs-alerts

最后,本文使用的所有shell脚本都可以在以下地址中找到:

https://github.com/mrahtz/dotfiles/tree/master/.local/bin

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/567259.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java file 字符串_Java读取一个文本文件拼接成一个字符串(readFileToString)

import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import org.junit.Test;public class Demo {// 使用示例Testpublic void testName1() throws Exception {String filePath …

pythonselenium上传图片视频_如何用selenium、python上传文件(图片)

我添加了一个答案,任何人想使用处理恼人的msofiledialogs。这是对saravanan提出的解决方案的改进,但对Python来说更加充实。我也遇到过类似的问题,我正在为一家公司做脚本。我试图为一家公司的客户上传文件,但由于他们的网站工作方…

java中的.运算符_java中的各种运算符

1、算术运算符;算术运算符也就是我们小学所学过的: - */;还有取模运算符:%;取模运算符也就是求余的运算;运算形式:操作数 操作数;操作数 - 操作数;操作数 *操作数&#…

python curl 获取返回值_python获取系统命令的返回值 | curl in python

项目背景:通过curl 命令 从服务器获取数组,tids,然后导入到Mysql 表中。自己想的方案:shell命令不熟悉,另外python中的数据库等接口都已封装,所以想使用Python来做,利用Python调用shell命令。cu…

java 绑定属性_Java的动态绑定

看这段代码Father father new Son();父类引用指向子类对象,这是java的多态特性,有多态引到动态绑定,如何引入呢,看这个代码:classFather{privateString nameString;public voidspeak() {System.out.println(this.getC…

中软python编码规范考试试题_卓越分享 | 如何写出一手漂亮的Python代码?

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼Python语言这么火,有很多同学是从其他语言转行过来的(比如c,java语言),多多少少写代码的时候也会受其他语言的影响!而对于刚开始学编程的小白同学来说,解决问题的思路有的…

间接寻址级别不同_被遗忘的利息税,国债与存款的利率区别,同大额存单的4点大不同...

2020年6月10日的储蓄式电子国债发行又一次与理财人擦肩而过,因为疫情管控原因,此次暂时不发行,那么下一个认购国债的窗口,就是7月10日,仍然是储蓄式电子国债,期限还是3年期和5年期两种。那么能如期发行吗&a…

java宠物健康值_宠物健康微手册:成年篇

在健康微手册幼年篇之后,成年篇也出炉了。这里所说的成年,也就是从1岁起,到大型犬的6岁左右,或者小型犬或猫猫的10岁左右。老年宠物的注意事项就留到下次再讲吧。身体检查:每年一到两次的身体检查很重要。小宠物不能告…

python定义数列每项的变量__Python定义方法

def 定义一个方法在项目编程中,我们往往要做很多重复的事,比如一个排序的功能(当然Python中内置排序的方法),在编程中,我们肯定是会多次用到这个功能的,如果我们每次都在要用这个功能时,都去写一遍&#xf…

java 变参 使用数组调用_java中的可变参数使用方法

java中的可变参数使用方法可变参数时Java 1.5新增的方法,可变参数方法接收0个或者多个指定类型的参数,可变参数机制通过先创建一个数组,数组的大小为在调用位置所传递的参数数量,然后将参数值传到数组中,最后将数组传递…

python课程水平测试成绩查询_学业水平考试成绩查询系统入口

学业水平测试是对高中生在校期间学习情况的全面检测。学业水平测试、语数外科目考试、综合素质评价,共同构成完整的高中学生综合评价体系。学业水平考试成绩如何查询1、网站查询:通过百度或输入网址,进入学业水平测试成绩查询的官网&#xff…

lamp配置python_LAMP搭建笔记

LAMP简介LAMP指的Linux(操作系统)、ApacheHTTP 服务器,MySQL(有时也指MariaDB,数据库软件) 和PHP(有时也是指Perl或Python) 的第一个字母。LAMP便成了一组常用来搭建动态网站或者服务器的开源软件,本身都是各自独立的程序,但是因为…

抽象类可以用new创建对象吗_宠物可以用人类的湿巾吗?猫咪有泪痕可以用纸巾擦掉吗?...

宠物还有专用的湿巾?当然喽!不养宠物的小伙伴可能是无法理解的,人类的生活条件好了,宠物的生活条件在很多方面比人类还更上一层台阶呢!喜欢逛宠物店和宠物展的小伙伴都会有这样的感慨,那就是人生不如喵生狗…

java什么时候需要同步_JAVA中线程在什么时候需要同步和互斥

JAVA中线程在什么时候需要同步和互斥关注:265 答案:6 mip版解决时间 2021-01-27 08:10提问者时光易老2021-01-27 03:32JAVA中线程在什么时候需要同步和互斥?(假如这题是考试题,要怎样回答?)详细点最佳答案二级知识专家樱花雨梦2021-01-27 04:13例如访…

5g虚拟技术旅游_5G造就文旅新时代,驴迹科技探索智慧出行创新领域

随着我国5G技术的成熟与普及,5G为文旅产业提供新的解决方案,使之焕发新的活力。以5G“新基建”为依托,结合VR虚拟实境以及云计算、高清视频等技术交叉应用,对旅游业的发展带来广泛而深刻的影响,给游客更新鲜、更具有科…

java静态方法库api下载_Java——静态方法库和抽象数据类型

静态方法封装了由一系列语句所描述的算法。方法需要参数并根据参数计算出来的某种数据类型的返回值(int等)或者产生某种副作用(void)。实例如下&#xff1a;//实例1public static int abs(int x) //计算一个整数的绝对值{if(x<0)return -x;else return x;}//实例2public sta…

图解leetcode初级算法python版 pdf_图解LeetCode初级算法(Python版)

第1章 浅谈算法1&#xff0e;1 算法概述1&#xff0e;2 度量算法1&#xff0e;2&#xff0e;1 时间复杂度1&#xff0e;2&#xff0e;2 空间复杂度1&#xff0e;3 Python&Pythonic第2章 基础算法之排序2&#xff0e;1 冒泡排序2&#xff0e;1&#xff0e;1 原理2&#xff0…

java指定sql生成xml_SQL Server根据查询结果,生成XML文件

/*bcp 不是内部或外部命令&#xff0c;也不是可运行的程序&#xff1f;看看在C:\Program Files\Microsoft SQL Server\80\Tools\Binn里面有没有bcp.exe这个文件然后看看path里面加C:\Program Files\Microsoft SQL Server\80\Tools\Binn这个目录没有.右键我的电脑--属性--高级--…

python实现雪花飘落的效果_使用javascript实现雪花飘落的效果

看了javascript网页特效实例大全中的图片飘下的效果实例&#xff0c;觉得值得动手学习下。就把图片改成雪花图&#xff0c;完成一个雪花飘下的效果。并且&#xff0c;其中有些内容比较陈旧了&#xff0c;那么就学者改掉吧。包括&#xff1a;1.对left和top的操作仅支持IE浏览器&…

java飞机大战分数累加代码_JAVA 基础编程练习题39 【程序 39 分数累加】

39 【程序 39 分数累加】题目&#xff1a;编写一个函数&#xff0c;输入 n 为偶数时&#xff0c;调用函数求 1/21/4...1/n,当输入 n 为奇数时&#xff0c;调用函数 1/11/3...1/npackage cskaoyan;public class cskaoyan39 {org.junit.Testpublic void sum() {java.util.Scanner…