阿里云 MaxCompute 2018-09 新功能发布

2018年9月大数据计算服务 MaxCompute 又发布新功能啦!

【新功能】MaxCompute窗口函数支持WINDOW_CLAUSE

参考文档

适用客户

数据开发人员在进行数据开发过程中,用到调用window函数窗口时,SQL里反复写上OVER语句会显得冗余,MaxCompute在该版本中支持WINDOW语句预定义窗口,避免了这一现象。

发布功能

为了避免多次调用window函数窗口时,SQL里反复写上OVER语句会显得冗余,MaxCompute在该版本中支持WINDOW语句预定义窗口。

【新功能】子查询支持SCALAR SUBQUERY 
参考文档

适用客户

适用于数据开发人员,在做数据开发时,遇到SUBQUERY的输出结果为单行单列的时候,可以当做标量来使用。

发布功能

MaxCompute SQL 中当SUBQUERY的输出结果为单行单列的时候,可以当做标量来使用。

【新功能】MaxCompute SQL-支持OUTER LATERAL VIEW 
参考文档

适用客户

适用于数据开发人员,在做数据拆分的同时进行聚合的需求时,使用Outer Lateral View功能和split、explode等UDTF一起封装使用。

发布功能

Lateral view通常和split、explode等UDTF一起封装使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。
Lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,Lateral view再把结果聚合,产生一个支持别名表的虚拟表。
Lateral view outer:当table function不输出任何一行时,对应的输入行在Lateral view结果中依然保留,且所有table function输出列为null。

【新功能】MaxCompute 支持使用UDJ(User Defined Join)自定义SQL的Join操作 
参考文档

适用客户

数据开发人员在遇到很多跨表操作的需求时,原来要依赖于内置join + 各种UDF/UDTF+复杂的SQL语句来完成,一些情况下还只能完全自定义MR来完成,这两个方式门槛高且执行效率低。MaxCompute在UDF框架中新近引入的一种新扩展机制:UDJ(User Defined Join),来实现灵活的跨表、多表自定义操作,同时减少不得不通过MR等方式对分布式系统底层细节的操作。

发布功能

MaxCompute在UDF框架中新近引入的一种新扩展机制:UDJ(User Defined Join) 来实现灵活的跨表、多表自定义操作,同时减少不得不通过MR等方式对分布式系统底层细节的操作。

【新功能】MaxCompute支持使用UDT在SQL中直接引用第三方语言的类或者对象,获取其数据 
参考文档

适用客户

适用于数据开发人员在进行数据开发过程中,为了实现一些简单的功能而用到第三方语言的类或对象时,之前只能使用UDF这个过程繁杂的方式,通过UDT则可以直接在SQL中直接调用,提升了SQL语言编译过程的易用性与语言的表达能力,进而提升数据开发人员的工作效率。

发布功能

MaxCompute的UDT提供了调用第三方库的功能,不需要用特殊的DDL语法来定义类型的映射,直接在SQL中使用。

【新功能】国际站开启FullScan限制功能 
参考文档

适用客户

追求成本控制的MaxCompu用户。

发布功能

通过限制全表扫描,可以控制SQL/MR计算量,避免用户因暴力扫描导致的贵账单。

【体验优化】MaxCompute优化器(Optimizer)性能提升

MaxCompute优化器(Optimizer)基于MaxCompute-bench测试集合整体性能在生产环境可以提高约7%。

优化功能

1、Advanced Shuffle Remove:可以支持Sorted Merge Join和Sorted Aggregate的排序和分布属性被后续操作利用,从而减少Shffle操作。
2、Dynamic Parallelism: 对运行时的数据量动态估计reduce数量。
3、Auto Map Parallelism:Map split size支持列裁剪和压缩比估计。
4、Map Join小表汇集: Map Join小表将首先汇集到单节点,提升broadcast的效率。
5、多处优化性能调优:分区裁剪、代价估计算法的性能有多处调优,优化做得更快。
6、更完整的Join Grouping。

【新地域/可用区】大数据计算服务 MaxCompute 英国(伦敦)节点正式开服售卖 
现在开通

大数据计算服务 MaxCompute 英国(伦敦)节点开服售卖。 可在国际站、中文站、日本站购买迪拜节点资源,在控制台按需求开通project。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520820.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle12到128数组越界,jfinal save 超过9个字段以上就会出现数组下标越界

代码:public static void main(String[] args) {C3p0Plugin c3p0Plugin new C3p0Plugin("jdbc:oracle:thin:192.168.101.10:1521:oratm","imp_zyk", "11111111");c3p0Plugin.setDriverClass("oracle.jdbc.driver.OracleDriver&…

要不要赶个时髦,去建设一个「 中台 」?

戳蓝字“CSDN云计算”关注我们哦!作者 | 奎哥责编 | 阿秃很多技术人总是抱怨 新技术/新框架/新概念 太多了,总是学不完,抱怨实在是学不动了。哈哈,这不,最近「 中台 」这么火热,要不要停止抱怨&#xff0…

strcpy用于调用的参数太少_C和汇编如何互相调用?嵌入式工程师必须掌握

ARM系列文章,请点击以下汇总链接:《从0学arm合集》一、gcc 内联汇编内联汇编即在C中直接使用汇编语句进行编程,使程序可以在C程序中实现C语言不能完成的一些工作,例如,在下面几种情况中必须使用内联汇编或嵌入型汇编。…

在阿里云上试用 Knative

在今年的Google Cloud Next大会上,Google发布了Knative, 这是由Google、Pivotal、Redhat和IBM等云厂商共同推出的Serverless开源工具组件,它与Istio,Kubernetes一起,形成了开源Serverless服务的三驾马车。 本文来自阿里巴巴中间件…

负载均衡工具 haproxy剖析

haproxy 进阶 应用场景 只是作为负载均衡的工具,至于是什么应用集群都可以,例如:上面的RabbitMQ集群 下面那redis集群再给大家举个例子: 创建配置haproxy配置文件 #创建haproxy配置文件 touch /etc/haproxy/haproxy.cfg #Hapro…

阿里云参加ONS EU 2018,飞天洛神亮相网络顶会

9月25日,荷兰阿姆斯特丹,为期3天的网络科技界盛会Open Networking Summit拉开序幕。来自世界各地的网络技术领域专家齐聚一堂,参与并分享各自分支领域的经验和成果。阿里云在会上展示了虚拟网络系统飞天洛神,智能网络管理平台齐天…

linux中如何在文件中查找文件,linux下find(文件查找)命令的用法总结

每一种操作系统都有成千上万的文件组成,对于linux这样“一切皆文件”的操作系统来说更不例外,大家应该都能很轻松使用windows下的文件查找功能,但是对linux这一功能可能并不是很熟悉,其实想玩linux的你更要牢牢掌握这个命令&#…

主动安全,新华三融合生态之力!

戳蓝字“CSDN云计算”关注我们哦!作者 | 晶少责编 | 阿秃出品 | CSDN云计算(ID:CSDNcloud)“如今网络安全形势错综复杂,解决方案不可能由一家公司独当天下,面对这样的情况,我们就要选择自身擅长…

python数字字符串乘以2_Python基础(2)_数字和字符串类型

一、数据类型1、数字整型Python的整型相当于C中的long型,Python中的整数可以用十进制,八进制,十六进制表示。>>> 1010 --------->默认十进制>>> oct(10)012 --------->八进制表示整数时,数值前面要加上一个前缀“0”>>> hex(10)0x…

阿里敏捷实践| 4个迭代,从批量交付向持续交付转型

导语 忙不完的事情,解不完的bug,每次发版都得集体熬个大通宵。干得多,结果还不好。阿里内部某研发团队就正处在这样的漩涡之中。 在这样的背景下,阿里云效敏捷教练团队受邀,和该研发团队一起,通过4个迭代…

阿里云携手爱迪德,发布中国首个云端DRM解决方案

2018杭州云栖大会期间,阿里云携手技术生态合作伙伴-爱迪德,推出中国首个云端DRM解决方案。该方案受CHINA DRM LAB和好莱坞六大电影公司认可,可以有效加强平台方对高价值版权内容的保护,监测和防止视频内容的盗版。 爱迪德中国区销…

atomic在linux编译不通过,内存障碍和在linux上的atomic_t

最近我正在阅读一些Linux内核空间代码,我看到了这一点uint64_t used;uint64_t blocked;used atomic64_read(&g_variable->used); //#1barrier(); //#2blocked atomic64_read(&g_variable->blocked); //#3这段代码片段的语义是什么?确保#1在#3之前执…

pythonrgb高精度浮点运算类型_python实现RGB字符串,按24位对齐后输出对应Integer行数字...

题目来源:2021届字节跳动算法岗笔试题题目描述:实现一个RGB字符串(如:rgb(0, 50,255) ),按24位数字对齐后输出对应Integer型数字。R为高位,B为低位。例如:输入 rgb(0, 50,255) ,输出13055输入描…

idea升级2019.3后字体有的粗有的细

解决办法: 设置File–>Settings–>Editor–>Fallback font–>SimHei

飞天2.0 | 万物智能的基础服务

在2018杭州云栖大会的主论坛上,阿里云技术研发总经理蒋江伟发表了《飞天2.0,万物智能的基础服务》的主题演讲,从全连接、安全、简便、高速四个方面,阐述了飞天2.0网络的新特性。 蒋江伟表示,万物智能时代产生的海量数据…

黑科技揭秘:3分钟,轻松构建一张覆盖全球的企业专有网络

2018杭州云栖大会主论坛上,阿里巴巴研发技术总经理 蒋江伟在大会现场演示了分钟级构建企业专有网络的技术。 回顾一下当时的场景,一共有三步操作:上电, WAN口连接Internet,LAN口连接电脑,在工程师没有对设备…

恕我直言,有了这款 IDEA 插件,你可能只需要写 30% 的代码。。。

文章目录1. 安装(EasyCode)2. 建立数据库3. 在IDEA配置连接数据库4. 开始生成代码5. pom.xml6. Application.yml7. 启动项目8. 测试一下Easycode是idea的一个插件,可以直接对数据的表生成entity,controller,service,dao,mapper,无需任何编码,简单而强大。…

linux硬盘为啥分区,Linux下为什么要进行磁盘的分区

一、先从整体上说说说分区的好处:1.数据安全:主要方面:只用一个分区,若遇到系统需要重装或者分区需要进行格式化等,原有的重要文件无法在本硬盘保留,而若提前进行了合理分区,则用户数据不会收到影响次要方面,我们知道&…

双十一提前预热,这款耳机直降80元!

还有不到10天时间就到双十一狂欢购物节了你们是不是已经把购物车加满了呢?反正的我已经加了好多了此时好想自己有个程序员男友帮我把购物车清空可惜了赶不上了之前推荐了一款兰士顿的T7R按键版蓝牙耳机大部分购买的用户给我的反馈说还不错哦但是也有一部分人问我有没…

python以写模式打开录入_Python的学习(六)—-文件和输入输出处理 | 学步园

Python中的文件和输入输出处理1. 文件对象的概念文件对象不仅可以用来访问普通的磁盘文件,还可以访问任何其他类型抽象层面上的文件。例如实时地“打开一个URL”来读取Web页面,在另一个独立的进程中执行一个命令进行通信,就好像是两个同时打开…