基于ODPS的SQL语句

(一)基本概念

1.ODPS:Open Data Processing Service, 简称ODPS;是由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域;阿里巴巴的离线数据业务都运行在ODPS上;

2.御膳房:基于ODPS的一个应用模型;基于公共云计算的数据管理、计算和交换平台,为政府机构、企业、科研机构、第三方软件服务商等客户,提供大数据管理、开发和生产计算的能力,同时让客户间能交换数据,解决数据管理、应用、流通的场景需求,帮助客户实现商业价值;

3.ODPS SQL:与Hive SQL语法基本一致;适用于海量数据(TB级别),实时性要求不高的场合,它的每个作业的准备,提交等阶段要花费较长时间, 因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的;ODPS SQL采用的是类似于SQL的语法,可以看作是标准SQL的子集,但不能因此简单的把ODPS SQL等价成一个数据库,它在很多方面并不具备数据库的特征;

PS:常见数据库有层次型(树状),网状型(网络),关系型(二维表格)

4.SQL语句不分大小写,使用“–”进行注释,使用分号作为语句结束符号;

5.支持的数据类型:bigint,double,string,datetime,boolean,decimal;

6.支持的关系运算符:=, <>, <, <=, >, >=, is null, is not null, like, rlike和in ;

7.支持的算术运算符:+, -, * , /, %;

8.支持的逻辑运算符:and, or,not

9.支持的位运算符:&,|;

10.支持三目运算符:A?B:C;

11.SQL语言包括四种主要程序设计语言类别的语句:数据定义语言(DDL),数据操作语言(DML),数据控制语言(DCL)和事务控制语言(TCL);在ODPS中使用的主要是DDL跟DML;

12.ODPS平台上的数据都是以表的形式来处理的,所以SQL语句很重要,在处理SQL时候,字段也是一个关键的概念;

(二)DDL语句

1.表的创建

(1)新建一个自定义的表:create table if not exists A (字段名 字段类型);

(2)新建一个表,字段与现有表一致,但数据并没有复制:create table if not exists A like B;

2.表的删除

drop table A;

3.表的重命名

alter table A rename to B;

4.表的生命周期

alter table A set lifecycles 30;

5.增加字段

alter table A add columns(字段名 字段类型);

6.查看表的信息

desc A

(三)DML语句

1.表中数据的更新(insert语句)

(1)insert overwrite table A select * from B :表示将表A的数据复制到表B中,前提是字段一致;

PS:ODPS平台的SQL仅支持以上的更新数据库语句;其中关键字overwrite表示覆盖写入,可换成into表示追尾写入;

2表中数据的读取(select语句)

(1)select * from A:读取全部字段数据

(2)select uid from A:读取某一字段全部数据

(3)select distinct uid from A :读取某一字段不重复数据

(4)select * from A where uid=‘a’:读取某一字段值等于指定值的数据

(5)select * from (select * from A)a:嵌套语句

(6)select sum(uid) from A group by uid:分组查询

(7)select * from A order by uid limit 4:全局排序,必须与limit 配合使用

(8)select row_number() over (partition by item order by score)as row_num from A:对字段item按字段score值进行局部排序并给出序号

3.表的合并(union all 语句)

select * from(
select * from t1 where uid=‘a’
union all
select * from t2 where uid=‘a’)t;

4.表的连接(join 语句与left outer join 语句)

(1)join

select * from A a join B b on a.item = b.item :返回A,B表中字段item值相同的数据

(2)left outer join

select * from A a left outer join B b on a.item = b.item :返回A表全部数据

(四)内建函数

查看附件文档

附件:ODPS SQL

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/554941.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php.amazeui,AmazeUI 导航条的实现示例

拥有易用的导航条对于任何网站都很重要。本文主要介绍了AmazeUI 导航条的实现示例&#xff0c;分享给大家&#xff0c;具体如下&#xff1a;导航条Amaze UI导航切换 首页项目下拉 标题1. 去月球2. 去火星3. 还是回地球4. 下地狱5. 桥头一回首其他 注册随便看看登录....am-topba…

JNDI用法详解

JNDI全称(Java Naming and Directory Interface)&#xff0c;是java命名和目录接口。它是一个应用程序设计的API&#xff0c;为开发人员提供了查找和访问各种命名和目录服务的通用、统一的接口&#xff0c;类似JDBC都是构建在抽象层上。 1、命名的概念与应用 JNDI中的命名(Nam…

django mongodb mysql,Django MongoDB Django NoSQL方案

1 安装MongoDB1&#xff0c;下载所需要的版本&#xff0c;地址&#xff1a;http://www.mongodb.org/display/DOCS/Downloads2&#xff0c;将MongoDB加入环境变量3&#xff0c;设定好放置数据库文件的路径&#xff0c;比如d:db4&#xff0c;打开CMD&#xff0c;不要关闭这个mong…

BigDecimal保留两位小数

文章目录前言1.代码实现2.方法详解注释前言 在项目中经常会用到小数的一些计算&#xff0c;而float和double类型的主要设计目标是为了科学计算和工程计算。他们执行二进制浮点运算&#xff0c;这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计的。然而&#xff…

matlab人民币识别,MATLAB-OCR 用MATLAB实现人民币纸币金额的识别与统计 - 下载 - 搜珍网...

用MATLAB实现人民币纸币金额的识别与统计/说明.txt用MATLAB实现人民币纸币金额的识别与统计/钞票面额识别与统计/matlab程序及图片/1-1.jpg用MATLAB实现人民币纸币金额的识别与统计/钞票面额识别与统计/matlab程序及图片/1-2.JPG用MATLAB实现人民币纸币金额的识别与统计/钞票面…

DataIntegrityViolationException: Error attempting to get column ‘xx‘——DataIntegrityViolationExceptio

一、解决办法 项目中在更新数据库时出现异常&#xff0c;org.springframework.dao.DataIntegrityViolationException&#xff0c;当然如果控制台直接报这个异常问题的解决估计也不至于让我写篇博客。 先说这个异常代表的含义吧&#xff1a; 这个异常的意思就是在更新&#xff…

php oracle817,Oracle 817 For Linux/Unix安装文档-数据库专栏,ORACLE

oracle 817安装文档1&#xff0e; 创建dba组和oracle用户roothz_cmode # groupadd dbaroothz_cmode # useradd -m -d /opt/oracle -s /bin/ksh -g dba oracleroothz_cmode # passwd oracle new password:re-enter new password:passwd (system): passwd successfully chan…

Java中new Date插入mysql数据库,数据库时间多一秒问题

这是由于new Date()时&#xff0c;实际上是调用的System.currentTimeMillis()方法&#xff0c;即获得以毫秒为级别的时间戳。 一般数据库表的字段类型datetime/timestamp长度都是设置为0。 MySQL数据库对于毫秒大于500的数据进行进位&#xff0c;所以就造成的MySQL中的时间多一…

学php还是golang,学swoole还是golang

Swoole是一个面向生产环境的 PHP 异步网络通信引擎&#xff0c;使 PHP 开发人员可以编写高性能的异步并发 TCP、UDP、Unix Socket、HTTP&#xff0c;WebSocket 服务。 (推荐学习&#xff1a;swoole视频教程)Swoole 可以广泛应用于互联网、移动通信、企业软件、云计算、网络游戏…

java8 函数编程Consumer使用详解

Consumer 源码 package java.util.function;import java.util.Objects;FunctionalInterface public interface Consumer<T> {void accept(T t);default Consumer<T> andThen(Consumer<? super T> after) {Objects.requireNonNull(after);return (T t) ->…

java解析vue对象数组,Java数组

Java提供了一个数据结构&#xff0c;所述数组&#xff0c;其存储相同类型的元件的固定大小的连续集合。数组用于存储数据集合&#xff0c;但将数组视为相同类型变量的集合通常更为有用。您可以声明一个数组变量&#xff0c;例如数字和数字[0]&#xff0c;数字[1]和...&#xff…

Java中List的subList()方法及使用注意事项

List<Object> list new Arraylist<>();List<Object> subList list.subList(0, 5);其中subList(0, 5)取得的是下标为0到4的元素,不包含下标为5的元素. java.util.List中的subList方法返回列表中指定的 fromIndex&#xff08;包括 &#xff09;和 toIndex&a…

php有关卡的消消乐源码,查看“宝可消消乐/活动关卡/得分挑战关卡/超梦”的源代码...

因为以下原因&#xff0c;您没有权限编辑本页&#xff1a;您所请求的操作仅限于该用户组的用户使用&#xff1a;用户您可以查看与复制此页面的源代码。关卡{| {{classcolortable|type|psychic|widthfull}}|{{Shuffle Stage| stage 得分挑战关卡| name 超梦| number 150| for…

SpringBoot操作hbase

1&#xff0c;添加依赖&#xff08;客户端版本和 HBase 版本需要保持一致&#xff0c;否则可能会遇到不兼容的问题。&#xff09; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId>&…

php 域名白名单,域名白名单验证

验证域名是否在白名单中是编程时常用到的功能&#xff0c;对安全性有要求的项目中都有该功能。常见的使用场景有登录后回跳&#xff0c;跳转到外站时弹出安全提示等。知乎登录后回跳&#xff1b;只要有登录的地方就需要用到来源回跳。我们在一个页面www.baidu.com 调用知乎的登…

Java Socket与Html5 websocket通信

一、Mysocket.java文件 import org.springframework.stereotype.Component;import javax.websocket.*; import javax.websocket.server.*;// ws://localhost:8080/ws/Tom ServerEndpoint("/ws/{user}") Component public class MySocket {private String currentUse…

matlab 由移相角如何产生移相脉冲,整流电路控制角移相范围是怎么确定的?

整流电路控制角移相范围是怎么确定的&#xff1f;2019-03-14【FrancisQu的回答(28票)】:谢邀^^一言以蔽之&#xff0c;整流电路控制角的范围取决于整流电路直流输出电压平均值时所得的控制角&#xff0c;详细分析如下。基本概念&#xff1a;触发延迟角(控制角)——从晶闸管开始…

php编程对联,形容程序员的对联大全

程序员&#xff0c;是从事程序开发、维护的专业人员。现在有一些形容程序员的对联&#xff0c;学习啦小编为大家整理了一些&#xff0c;感兴趣的&#xff0c;欢迎大家阅读。形容程序员的对联摘抄上联&#xff1a;莫道运维无姝丽&#xff0c;下联&#xff1a;谁言开发不风情?横…

SpringBoot 实现SSE 服务器发送事件

SSE 全称Server Sent Event&#xff0c;直译一下就是服务器发送事件&#xff0c;一般的项目开发中&#xff0c;用到的机会不多&#xff0c;可能很多小伙伴不太清楚这个东西&#xff0c;到底是干啥的&#xff0c;有啥用 本文主要知识点如下&#xff1a; SSE 扫盲&#xff0c;应…

php多表递归查询,使用公用表表达式的递归查询

微软从SQL2005起引入了CTE(Common Table Expression)以强化T-SQL。公用表表达式 (CTE) 具有一个重要的优点&#xff0c;那就是能够引用其自身&#xff0c;从而创建递归 CTE。递归 CTE 是一个重复执行初始 CTE 以返回数据子集直到获取完整结果集的公用表表达式。当某个查询引用递…