阿里云 MaxCompute 2018-09 新功能发布

2018年9月大数据计算服务 MaxCompute 又发布新功能啦!

【新功能】MaxCompute窗口函数支持WINDOW_CLAUSE

参考文档

适用客户

数据开发人员在进行数据开发过程中,用到调用window函数窗口时,SQL里反复写上OVER语句会显得冗余,MaxCompute在该版本中支持WINDOW语句预定义窗口,避免了这一现象。

发布功能

为了避免多次调用window函数窗口时,SQL里反复写上OVER语句会显得冗余,MaxCompute在该版本中支持WINDOW语句预定义窗口。

【新功能】子查询支持SCALAR SUBQUERY 
参考文档

适用客户

适用于数据开发人员,在做数据开发时,遇到SUBQUERY的输出结果为单行单列的时候,可以当做标量来使用。

发布功能

MaxCompute SQL 中当SUBQUERY的输出结果为单行单列的时候,可以当做标量来使用。

【新功能】MaxCompute SQL-支持OUTER LATERAL VIEW 
参考文档

适用客户

适用于数据开发人员,在做数据拆分的同时进行聚合的需求时,使用Outer Lateral View功能和split、explode等UDTF一起封装使用。

发布功能

Lateral view通常和split、explode等UDTF一起封装使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。
Lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,Lateral view再把结果聚合,产生一个支持别名表的虚拟表。
Lateral view outer:当table function不输出任何一行时,对应的输入行在Lateral view结果中依然保留,且所有table function输出列为null。

【新功能】MaxCompute 支持使用UDJ(User Defined Join)自定义SQL的Join操作 
参考文档

适用客户

数据开发人员在遇到很多跨表操作的需求时,原来要依赖于内置join + 各种UDF/UDTF+复杂的SQL语句来完成,一些情况下还只能完全自定义MR来完成,这两个方式门槛高且执行效率低。MaxCompute在UDF框架中新近引入的一种新扩展机制:UDJ(User Defined Join),来实现灵活的跨表、多表自定义操作,同时减少不得不通过MR等方式对分布式系统底层细节的操作。

发布功能

MaxCompute在UDF框架中新近引入的一种新扩展机制:UDJ(User Defined Join) 来实现灵活的跨表、多表自定义操作,同时减少不得不通过MR等方式对分布式系统底层细节的操作。

【新功能】MaxCompute支持使用UDT在SQL中直接引用第三方语言的类或者对象,获取其数据 
参考文档

适用客户

适用于数据开发人员在进行数据开发过程中,为了实现一些简单的功能而用到第三方语言的类或对象时,之前只能使用UDF这个过程繁杂的方式,通过UDT则可以直接在SQL中直接调用,提升了SQL语言编译过程的易用性与语言的表达能力,进而提升数据开发人员的工作效率。

发布功能

MaxCompute的UDT提供了调用第三方库的功能,不需要用特殊的DDL语法来定义类型的映射,直接在SQL中使用。

【新功能】国际站开启FullScan限制功能 
参考文档

适用客户

追求成本控制的MaxCompu用户。

发布功能

通过限制全表扫描,可以控制SQL/MR计算量,避免用户因暴力扫描导致的贵账单。

【体验优化】MaxCompute优化器(Optimizer)性能提升

MaxCompute优化器(Optimizer)基于MaxCompute-bench测试集合整体性能在生产环境可以提高约7%。

优化功能

1、Advanced Shuffle Remove:可以支持Sorted Merge Join和Sorted Aggregate的排序和分布属性被后续操作利用,从而减少Shffle操作。
2、Dynamic Parallelism: 对运行时的数据量动态估计reduce数量。
3、Auto Map Parallelism:Map split size支持列裁剪和压缩比估计。
4、Map Join小表汇集: Map Join小表将首先汇集到单节点,提升broadcast的效率。
5、多处优化性能调优:分区裁剪、代价估计算法的性能有多处调优,优化做得更快。
6、更完整的Join Grouping。

【新地域/可用区】大数据计算服务 MaxCompute 英国(伦敦)节点正式开服售卖 
现在开通

大数据计算服务 MaxCompute 英国(伦敦)节点开服售卖。 可在国际站、中文站、日本站购买迪拜节点资源,在控制台按需求开通project。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520820.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

要不要赶个时髦,去建设一个「 中台 」?

戳蓝字“CSDN云计算”关注我们哦!作者 | 奎哥责编 | 阿秃很多技术人总是抱怨 新技术/新框架/新概念 太多了,总是学不完,抱怨实在是学不动了。哈哈,这不,最近「 中台 」这么火热,要不要停止抱怨&#xff0…

strcpy用于调用的参数太少_C和汇编如何互相调用?嵌入式工程师必须掌握

ARM系列文章,请点击以下汇总链接:《从0学arm合集》一、gcc 内联汇编内联汇编即在C中直接使用汇编语句进行编程,使程序可以在C程序中实现C语言不能完成的一些工作,例如,在下面几种情况中必须使用内联汇编或嵌入型汇编。…

在阿里云上试用 Knative

在今年的Google Cloud Next大会上,Google发布了Knative, 这是由Google、Pivotal、Redhat和IBM等云厂商共同推出的Serverless开源工具组件,它与Istio,Kubernetes一起,形成了开源Serverless服务的三驾马车。 本文来自阿里巴巴中间件…

阿里云参加ONS EU 2018,飞天洛神亮相网络顶会

9月25日,荷兰阿姆斯特丹,为期3天的网络科技界盛会Open Networking Summit拉开序幕。来自世界各地的网络技术领域专家齐聚一堂,参与并分享各自分支领域的经验和成果。阿里云在会上展示了虚拟网络系统飞天洛神,智能网络管理平台齐天…

linux中如何在文件中查找文件,linux下find(文件查找)命令的用法总结

每一种操作系统都有成千上万的文件组成,对于linux这样“一切皆文件”的操作系统来说更不例外,大家应该都能很轻松使用windows下的文件查找功能,但是对linux这一功能可能并不是很熟悉,其实想玩linux的你更要牢牢掌握这个命令&#…

主动安全,新华三融合生态之力!

戳蓝字“CSDN云计算”关注我们哦!作者 | 晶少责编 | 阿秃出品 | CSDN云计算(ID:CSDNcloud)“如今网络安全形势错综复杂,解决方案不可能由一家公司独当天下,面对这样的情况,我们就要选择自身擅长…

阿里敏捷实践| 4个迭代,从批量交付向持续交付转型

导语 忙不完的事情,解不完的bug,每次发版都得集体熬个大通宵。干得多,结果还不好。阿里内部某研发团队就正处在这样的漩涡之中。 在这样的背景下,阿里云效敏捷教练团队受邀,和该研发团队一起,通过4个迭代…

阿里云携手爱迪德,发布中国首个云端DRM解决方案

2018杭州云栖大会期间,阿里云携手技术生态合作伙伴-爱迪德,推出中国首个云端DRM解决方案。该方案受CHINA DRM LAB和好莱坞六大电影公司认可,可以有效加强平台方对高价值版权内容的保护,监测和防止视频内容的盗版。 爱迪德中国区销…

idea升级2019.3后字体有的粗有的细

解决办法: 设置File–>Settings–>Editor–>Fallback font–>SimHei

飞天2.0 | 万物智能的基础服务

在2018杭州云栖大会的主论坛上,阿里云技术研发总经理蒋江伟发表了《飞天2.0,万物智能的基础服务》的主题演讲,从全连接、安全、简便、高速四个方面,阐述了飞天2.0网络的新特性。 蒋江伟表示,万物智能时代产生的海量数据…

黑科技揭秘:3分钟,轻松构建一张覆盖全球的企业专有网络

2018杭州云栖大会主论坛上,阿里巴巴研发技术总经理 蒋江伟在大会现场演示了分钟级构建企业专有网络的技术。 回顾一下当时的场景,一共有三步操作:上电, WAN口连接Internet,LAN口连接电脑,在工程师没有对设备…

恕我直言,有了这款 IDEA 插件,你可能只需要写 30% 的代码。。。

文章目录1. 安装(EasyCode)2. 建立数据库3. 在IDEA配置连接数据库4. 开始生成代码5. pom.xml6. Application.yml7. 启动项目8. 测试一下Easycode是idea的一个插件,可以直接对数据的表生成entity,controller,service,dao,mapper,无需任何编码,简单而强大。…

双十一提前预热,这款耳机直降80元!

还有不到10天时间就到双十一狂欢购物节了你们是不是已经把购物车加满了呢?反正的我已经加了好多了此时好想自己有个程序员男友帮我把购物车清空可惜了赶不上了之前推荐了一款兰士顿的T7R按键版蓝牙耳机大部分购买的用户给我的反馈说还不错哦但是也有一部分人问我有没…

阿里云朱照远:视频云2.0,更大规模、更智能、更清晰

在2018杭州云栖大会19号下午的主论坛上,阿里云视频云总经理朱照远发表了《视频云2.0,智享未来视界》的主题演讲,从超大规模、智能化、实时连接、超高清8K这四个方面,阐述了视频云2.0的定义。 朱照远表示,在这个超大规模…

这次的新计算,很全能!

在2018杭州云栖大会上,阿里云技术研发总经理蒋江伟发表了《全能计算,灵活稳定》的主题演讲,从函数计算、弹性容器实例、高吞吐ESSD云盘、弹性裸金属服务器、SCC超级计算集群这五个方面,阐述了飞天2.0计算的新特性。 蒋江伟表示&am…

linux virtualhost不能正常运行,造成网站无法正常运行的4个原因!

原标题:造成网站无法正常运行的4个原因!同虚拟主机产品对网站开发环境要求不同,如果两者不兼容,网站自然无法正常运行,这也是最常见的原因之一。因此,用户需设计好自己网站的开发环境,再去选择匹…

AMD第二代7nm GPU现身:原生支持光追;Facebook曾洽谈收购Fitbit 但谷歌的报价是其两倍……...

极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go go近日,位于软件园的联想未来中心正式开幕&…

阿里云首席智联网科学家丁险峰:每个企业都将有LoRa

一场由物联网(IoT)技术引发的“万物智联”革命正在加速到来。而物联网,也成为了阿里巴巴在继电商、金融、物流、云计算后新的主赛道。 在2018年9月19日杭州云栖主论坛上,阿里云首席智联网科学家丁险峰从天空物联网的搭建、达尔文计…

3. 什么是icmp?icmp与ip的关系_月入3万的大龄剩女相亲被拒:如果余生是你,晚一点有什么关系...

做你的情感树洞。点击上方“关注”,你的故事,你说,我听禾田飞歌 | 原创文章1、“爱情是我坚持了这么久的原则,我为什么要放弃呀?”等待爱情,盛如曦用了35年,还是没有等到她的意中人,…