MaxCompute Console 实用小命令

摘要: MaxCompute Console 可以从 这里 下载。在阿里云官网可以查看 帮助文档。 这里跟大家分享一些 MaxCompute Console 中实用的小命令。

MaxCompute Console 可以从 这里 下载。在阿里云官网可以查看 帮助文档。

这里跟大家分享一些 MaxCompute Console 中实用的小命令。嗯,一般人我不告诉他~

1 odpscmd -v 查看 odpscmd 版本

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd -v
******Odps Command Line Tools******
BuildTime: 2016-06-27 18:14:48
Revision: 30d623d
MavenVersion: 0.24.0-snapshot
Branch: develop

2 开启 debug 模式

在 odps_config.ini 中加一行:debug=true,将开启调试模式。之后在 odpscmd 运行过程中会输出 debug 日志、异常 stacktrace 等,方便定位问题。

  /Users/zhenhong/tool/odps_clt  cat conf/odps_config.ini
debug=true
access_id=***
access_key=***
end_point=***
project_name=***

运行 odpscmd,输入错误命令,将会看到错误日志

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>ll tables;
FAILED: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'
[DEBUG]: com.aliyun.openservices.odps.console.ODPSConsoleException: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'at com.aliyun.openservices.odps.console.QueryCommand.run(QueryCommand.java:212)
。。。

3 help <命令关键字> 获取命令使用提示

大多数同学都知道使用 odpscmd -h 或者 help;来获取 odpscmd 的所有命令提示。
除了这个,我们还有专门的 help + 关键字 命令呢。例如,使用help ls; 获取与 ls 相关的命令;使用 help table; 命令来获取所有与 table 相关的命令提示。

 /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>help table;Usage: show tables [in <projectname>]list|ls tables [-p,-project <projectname>]
Usage: export table <tablename>
Usage: alter table <tablename> merge smallfiles
Usage: read  <table_name> [<(col_name>[,..])][PARTITION <(partition_spec)>][line_num]

是不是很方便呢?再也不用去翻文档了!

另外,负责数据上传下载 tunnel 命令,除了有 help tunnel; 来获取提示,还有tunnel help 来获取详细命令提示,下面例子使用 tunnel help download; 得到与下载相关的命令参数。

odps@ odps_test_tunnel_project_gcc492>tunnel help download;
usage: tunnel download [options] <[project.]table[/partition]> <path>download data to local file-c,-charset <ARG>                 specify file charset, default ignore.set ignore to download raw data
。。。。(此处省略大量参数提示)-tz,-time-zone <ARG>              time zone, default local timezone:Asia/Shanghai
Example:tunnel download test_project.test_table/p1="b1",p2="b2" log.txt

4 wait 获取 instance 详细信息:logview、 summary 等
当一个作业已经运行完成,或者被放到后台执行,我们就不能再看到 instance 相关的执行信息,包括 logview 链接、instance summary、instance 运行的结果等等。这个时候,使用 wait 命令可以再次获取到这些信息。

odps@ odps_test>wait 20161008231329221gr58pvyi2;ID = 20161008231329221gr58pvyi2
Log view:
http://logview.odps.aliyun-inc.com:8080/logview/?h=http://***:***/***&p=odps_test&i=20161008231329221gr58pvyi2&token=********
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:odps_test.src: 500 (2608 bytes)
outputs:
[此处省略。。。]"_c0"
500

5 命令自动补全

由于历史原因,odpscmd 的命令没有统一的规范,完整的命令补全不是很好做,但是在 0.23.0 版本之后,我们做了命令关键字和文件路径的自动补全,使用TAB键即可。
下面列出输入不同字符后,敲 TAB 键的结果:

odps@ test_new_console_gcc>tunnel up
update         updateabtest   upload
odps@ test_new_console_gcc>tunnel upload test_dual ./te
test           test_body      test_dual      test_dual1     test_header    test_out       test_value     text
odps@ test_new_console_gcc>add resource /tmp/
com.apple.launchd.1YmqQ8L2kK    com.apple.launchd.26PWVPElv8    entsafemgr.log

6 history 命令查看历史

用来找曾经写过的命令,特别方便哦。

odps@ test_new_console_gcc>history;
1 count src;
2 select t1.prediction_result from pai_pred_output_perd_14561096286930 t1 join pai_pred_output_perd_14561096286930 t2 on t1.label ==t2.label;
3 desc instance 20160811091342933gtvve03;
4 desc instance 20160811091342933gtvve03;
5 wait 20160811091342933gtvve03;
(省略 。。。)

注: 最多缓存 500 条历史命令

7 版本更新自动提示

在最新的开发版本中,我们添加了版本的更新提示功能,先露个脸吧:

 /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
Aliyun ODPS Command Line Tool
Version 0.25.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
New version 0.25.1 available! Try it now! http://repo.aliyun.com/odpscmd/

持续更新中 (欢迎补充,更欢迎吐槽(_))。。。

如果上述命令的您还不能使用,请先升级版本哦,快来 试试 吧!

原文链接

干货好文,请关注扫描以下二维码:
图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/522289.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一个form 如何做两次提交_如何做一个优秀的家长

如何做一个优秀的家长文|潍坊坊子崇文中学父母对待孩子无外乎三种情况&#xff1a;一是事事管、时时管&#xff0c;做了很多事&#xff0c;效果却不好&#xff1b;二是什么都不管&#xff0c;什么都不做&#xff0c;放任自流&#xff0c;不闻不问&#xff0c;结果更不好&#x…

动态执行shell脚本

文章目录一、linux动态执行指定脚本二、需求思路分析①我要做什么&#xff1f;②先手动执行一遍流程③ 把执行命令记录下来三、动态执行脚本①手动制作脚本②脚本升级③ 脚本截图一、linux动态执行指定脚本 脚本目录 /app/CodeQualityScan/gblfy_cx/脚本名 sonar-scanner.sh用…

用冒泡排序的思想,模拟实现qsort函数

首先&#xff0c;要理解什么是冒泡排序&#xff0c;冒泡排序首先就是把无序的一组数&#xff0c;转化成为有序的&#xff0c;像冒泡一样&#xff0c;把排序好的数&#xff0c;一点点的冒出来&#xff0c;比如如下代码 void buffle_sort(int* arr,int sz){//i代表了需要冒泡排序…

关于机器学习,你需要知道的三件事!

摘要&#xff1a; MATLAB开发运营团队深度解析何为机器学习&#xff0c;什么时候使用机器学习&#xff0c;如何选择机器学习算法&#xff0c;MATLAB到底能为机器学习提供怎样的便利&#xff1f;机器学习是一种数据分析技术&#xff0c;让计算机执行人和动物与生俱来的活动&…

京东云的区块链“经”

戳蓝字“CSDN云计算”关注我们哦&#xff01;就在不久前&#xff0c;京东云在北京国家会议中心召开“区块链京东云 大有可为”战略合作媒体沟通会。会上&#xff0c;京东云与京东数科宣布了在区块链技术服务领域深度合作&#xff0c;重磅发布了智臻链“云”建设规划&#xff0c…

MaxCompute Tunnel SDK数据上传利器——BufferedWriter使用指南

摘要&#xff1a; MaxCompute 的数据上传接口&#xff08;Tunnel&#xff09;定义了数据 block 的概念&#xff1a;一个 block 对应一个 http request&#xff0c;多个 block 的上传可以并发而且是原子的&#xff0c;一次同步请求要么成功要么失败&#xff0c;不会污染其他的 b…

cnpm不是内部或外部命令 cnpm: command not found 解决方案 cnpm

问题是处在于 你没用用淘宝的镜像 安装cnpm npm install cnpm -g --registryhttps://registry.npm.taobao.org验证 cnpm -v

库函数strlen的模拟实现

1、对于strlen这个库函数来说&#xff0c;主要就是求字符串的长度的&#xff0c;无论何时&#xff0c;只要遇到‘\0’,求得的长度都会戛然而止&#xff0c;可以看一下例子 #include<stdio.h> #include<string.h> int main(){char* str1[]"abcdef";char*…

MaxCompute 中的Code Generation技术简介

摘要&#xff1a; 前言 在《数据库系统中的Code Generation技术介绍》中&#xff0c;我们简单介绍了一下Code Generation技术及其在大规模OLAP系统&#xff0c;特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute 前言 …

java调用python_Python教程:17个冷门但实用的小技巧

Python是机器学习的主流语言&#xff0c;没有之一。今年5月&#xff0c;它首次在PYPL排行榜上超越JAVA&#xff0c;成为全球第一大编程语言。而一个月后&#xff0c;Stack Overflow也分享了最新的编程语言浏览量统计数字&#xff0c;结果显示&#xff0c;Python的月活历史性地超…

Hadoop精华问答 | NameNode的工作特点

我们很荣幸能够见证Hadoop十年从无到有&#xff0c;再到称王。感动于技术的日新月异时&#xff0c;让我们再来看看关于Hadoop的精华问答。1Q&#xff1a;NameNode的工作特点A&#xff1a;NameNode始终在内存中保存metedata&#xff0c;用于处理“读请求”&#xff0c;到有“写请…

五个非常实用的自然语言处理资源

摘要&#xff1a; 正在学习NLP&#xff0c;手中没有资源&#xff1f;快来看看这些免费的NLP学习资源吧&#xff01;如果你对自然语言处理方面的资源感兴趣&#xff0c;请仔细阅读本篇文章。运行数据科学POC的7个步骤网上有很多依靠深度学习方法的NLP资源&#xff0c;有一些资源…

'umi' 不是内部或外部命令,也不是可运行的程序 或批处理文件或umi: command not found

1.#首先&#xff0c;需要安装Node.js &#xff08;一路下一步安装&#xff09;&#xff0c;并确保 node 版本是 8.10 或以上。&#xff08;mac 下推荐使用 nvm 来管理 node 版本&#xff09; #安装完成后&#xff0c;通过node -v 命令查看其版本号 node -v2.推荐使用 yarn 管…

库函数strcpy函数的实现

strcpy指的是字符串的拷贝&#xff0c;就是把源字符串拷贝到目标空间里面 1、源字符串的拷贝是是以‘\0’结尾的&#xff0c;同时会将字符串中的’\0’拷贝过去 #include<stdio.h> int main(){char arr1[20]"xxxxxxxxxxxxx";char arr2"hello world"…

机器学习和人工智能的初学指南

摘要&#xff1a; 作者自学机器学习和人工智能&#xff0c;站在一个初学者的角度来回顾这些经历并编写这篇适合初学者的指南。我自学过一年机器学习和人工智能&#xff0c;我认为初学者在该领域还没有一个学习的途径&#xff0c;这是我创建这个指南的目的。在过去的几个月里&am…

idle显示出错信息 python_原来学Python最好的书是这一本?它在bookauthority里排名第三...

有一本学Python的书&#xff0c;也许你还没有关注到&#xff0c;它在bookauthority的Python类目中排名第三&#xff0c;要胜过太多太多的Python书。那就是《Python编程快速上手 让繁琐工作自动化》。就它本身来说&#xff0c;这本书不会让你变成一个职业软件开发者&#xff0c;…

CSDN推荐博客

CSDN推荐博客&#xff1a; 小学生05101https://blog.csdn.net/liuwenjun05101大神&#xff0c;快来碗里https://blog.csdn.net/cowbin2012/article/list热水钟https://blog.csdn.net/zhongzk69_江南一点雨https://blog.csdn.net/u012702547方志朋https://blog.csdn.net/forezp…

“根本就不需要 Kafka 这样的大型分布式系统!”

由 Scala 和 Java 编写的 Kafka 是一种高吞吐量的分布式发布订阅消息系统&#xff0c;它可以处理消费者在网站中的所有动作流数据&#xff0c;不过&#xff0c;Kafka 也存在数据并非真正的实时传输、不支持物联网传感数据直接接入、监控不完善等缺点。事实上&#xff0c;作为开…

一份关于机器学习中线性代数学习资源的汇总

摘要&#xff1a; 本文是一份关于机器学习中线性代数学习指南&#xff0c;所给出的资源涵盖维基百科网页、教材、视频等&#xff0c;机器学习从业者可以从中选择合适的资源进行学习。对于机器学习而言&#xff0c;要学习的特征大多数是以矩阵的形式表示。线性代数是一门关于矩阵…

库函数strcat的实现

strcat是字符串追加的函数&#xff0c;字符串的追加是发现目标空间的‘\0’结束 模拟实现strcat函数 char* my_strcat(char* dest, const char* src) {assert(dest);assert(src);char* cur dest;//1、找到目标空间的\0while (*cur) {cur;}//2、完成字符串的拷贝while (*cur …