阿里云大数据计算服务MaxCompute(上篇)

关于阿里云大数据计算服务MaxCompute的详细内容:

阿里云大数据计算服务MaxCompute使用教程

(MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。)

大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 为您提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。

同时,大数据开发套件和 MaxCompute 关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,详情请参见大数据开发套件。

MaxCompute 主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。

在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute 的目的是为您提供一种便捷的分析处理海量数据的手段,您可以不必关心分布式计算细节,便可达到分析大数据的目的。

MaxCompute 已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。

产品优势

大规模计算存储

MaxCompute 适用于 100GB 以上规模的存储及计算需求,最大可达 EB 级别。

多种计算模型

MaxCompute 支持 SQL、MapReduce、Graph 等计算类型及 MPI 迭代类算法。

强数据安全

MaxCompute 已稳定支撑阿里全部离线分析业务7年以上,提供多层沙箱防护及监控。

低成本

与企业自建私有云相比,MaxCompute 的计算存储更高效,可以降低 20%-30% 的采购成本。

功能概述

数据通道

支持批量、历史数据通道 TUNNEL 是 MaxCompute 为您提供的数据传输服务,提供高并发的离线数据上传下载服务。支持每天 TB/PB 级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel 提供 Java 编程接口供您使用,并且在 MaxCompute 的客户端工具中,有对应的命令实现本地文件与服务数据的互通。

实时、增量数据通道 针对实时数据上传的场景,MaxCompute 提供了延迟低、使用方便的 DataHub 服务,特别适用于增量数据的导入。Datahub 还支持多种数据传输插件,例如:Logstash、Flume、Fluentd、Sqoop 等,同时支持日志服务 Log Service 中的日志数据一键投递至 MaxCompute,进而使用大数据开发套件进行日志分析和挖掘。

计算及分析任务

MaxCompute 支持多种计算模型,详情如下:

SQL:MaxCompute 只能以表的形式存储数据,并对外提供了 SQL 查询功能。您可以将 MaxCompute 作为传统的数据库软件操作,但其却能处理 TB、PB 级别的海量数据。 注意:

MaxCompute SQL 不支持事务、索引及 Update/Delete 等操作。 MaxCompute 的 SQL 语法与 Oracle,MySQL 有一定差别,您无法将其他数据库中的 SQL 语句无缝迁移到 MaxCompute 上来。 在使用方式上,MaxCompute SQL 最快可以在分钟,乃至秒级别完成查询,无法在毫秒级别返回结果。 MaxCompute SQL 的优点是学习成本低,您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验,便可快速熟悉 MaxCompute SQL 的使用。

UDF:即用户自定义函数。 MaxCompute 提供了很多 内建函数 来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。

MapReduce:MaxCompute MapReduce 是 MaxCompute 提供的 Java MapReduce 编程模型,它虽与通用的 MapReduce 有所区别,但可以简化开发流程,更为高效。您若使用 MaxCompute MapReduce,需要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce 为您提供 Java 编程接口。 Graph:MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank,单源最短距离算法 ,K-均值聚类算法 等。 SDK

SDK 是 MaxCompute 提供给开发者的工具包,详情请参见 SDK 介绍。

安全

MaxCompute 提供了功能强大的安全服务,为您的数据安全提供保护,详情请参见 安全参考手册。

后续步骤

现在,您已经学习了 MaxCompute 的产品优势、功能特性等相关简介,您可以继续学习下一个教程。在该教程中您将快速了解如何使用 MaxCompute,详情请参见 快速开始。

发展历程

更新时间:2017-09-08 08:19:17

从 2009 年 9 月阿里云成立,愿景就是做运算/分享数据的第一平台。2010 年 4 月,伴随阿里金融的贷款业务上线,ODPS 正式投入生产运行,2012 年建立统一数据平台,2013 年具备超大规模海量数据处理能力,2014~2015 年大数据平台开始日趋成熟,2016 年 MaxCompute 2.0 诞生,成立之初的愿景正在逐步实现。

关键性里程碑

2010.04 ODPS 正式投入生产运行。阿里金融的贷款业务上线稳定运行。 2013.05 ODPS 公测。 2013.07 ODPS 正式提供商业化服务,单集群规模 5K 台服务器多级群能力。 2016.09 ODPS 正式更名为 MaxCompute,并推出 MaxCompute 2.0,实现高性能,新功能,富生态。

阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/255990.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue3、TypeScript 实现图片数量及大小随宽度自适应调整

前言 过了这么久,想起自己还有个博客,更点内容吧! 来,上需求! 最近在做个前端界面,要求在一行中展示一些图片,展示的图片数量随着窗口宽度大小进行变化,除此之外还有以下要求&…

【tensorFlow】——图像数据增强、读取图像、保存图像

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/4/13 10:54 # @Author : @linlianqin # @Site : # @File : 数据增强(distorted).py # @Software: PyCharm # @description:一些基于TensorFlow的数据处理方法import tensorflow as tf import cv2 im…

数据分析方法有哪些_数据分析方法

数据分析方法有哪些_数据分析方法 随着大数据的到来,数据分析师成为大数据时代一颗冉冉升起的新星,现在企业越来越重视大数据,数据分析师这个职业也成为企业争抢的对象。那么数据分析师的分析数据的方法都有哪些呢? 1、数据分析遵…

苹果Iphone/Ipad--L2T虚拟教程

1 Iphone和Ipad同为IOS,设置方法相同。首先进入IOS系统的“设置”程序。 2 点击“通用”进入通用设置,点击“”; 3 选择"添加设置 "; 4 选择L2TP方式,填写必要信息:描述、服务器地址 、您注册充值的账号及密…

记忆化搜索的应用

记忆化搜索的应用 一般来说,动态规划总要遍历所有的状态,而搜索可以排除一些无效状态。更重要的是搜索还可以剪枝,可能剪去大量不必要的状态,因此在空间开销上往往比动态规划要低很多。 如何协调好动态规划的高效率与高消费之间的…

【深度学习】——DNN后向传播、CNN后向传播文章汇总

深度神经网络(DNN)模型与前向传播算法 深度神经网络(DNN)反向传播算法(BP) 卷积神经网络CNN的前向和后向传播(一) 卷积神经网络CNN的前向和后向传播(二) 有batch normalization的卷积…

ajaxReturn 之前dump调试,导致$.ajax不能正常运行

ajaxReturn 之前dump调试,导致$.ajax不能正常运行 以后调试的时候,注意下这个情况转载于:https://www.cnblogs.com/bushe/p/5180317.html

Veebot-自动静脉抽血机器人

Veebot-自动静脉抽血机器人 我们可能都有过被抽血的经验。护士让你握紧拳头,用一根橡皮条压住你上臂的血管,在你的肘部内侧寻找你的静脉,有时还需要拍打几下,摸到隆起的静脉血管,一针下去。有时候碰到技术好的护士&…

idea 转普通项目为maven 项目

1、项目上右键 Add Framework Support。 2、选择maven,点击OK。 转载于:https://www.cnblogs.com/mayanze/p/8042489.html

HDOJ5547 SudoKu

题目链接&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid5547 题目大意&#xff1a;填数独。。。 思路&#xff1a;爆搜 1 #include <stdio.h>2 #include <string.h>3 #include <iostream>4 #include <algorithm>5 using namespace std;6 boo…

【深度学习之ResNet】——深度残差网络—ResNet总结

目录 论文名称&#xff1a;Deep Residual Learning for Image Recognition 摘要&#xff1a; 1、引言 2、为什么会提出ResNet残差网络呢&#xff1f; 3、深度残差网络结构学习&#xff08;Deep Residual learning&#xff09; &#xff08;1&#xff09;残差单元 &#xf…

Atitit.  c# 语法新特性 c#2.0 3.0 4.0 4.5 5.0 6.0   attilax总结

Atitit. c# 语法新特性 c#2.0 3.0 4.0 4.5 5.0 6.0 attilax总结 1.1. C# 1.0-纯粹的面向对象 1.2. C# 2.0-泛型编程新概念 1.3. C# 2.0的另一个突出的特性就是匿名方法 1.4. C#3.0 linq 1.5. C# 4.0动态编程 dynamic 1.6. C# 4.5 异步编程 async和await 1.7. C# 5.0 更方便…

关于SafeMove White Paper功能

ABB机器人网站有一个 Safemove 功能的介绍&#xff0c;在Overview页面右半版有一篇文档是 SafeMove White Paper &#xff0c;在45页的 pdf 文档中&#xff0c;详细了介绍工业机器人的安全原则&#xff0c;以及ABB工业机器人自身 EPS (Electronic Position Switches) 和 SafeMo…

面试疑难点解析

List,Set,Map,有什么区别&#xff1f; List和Set实际上市实现了Collection接口&#xff0c;那么Collection接口的原理你能简单描述一下吗&#xff1f; List接口可以插入多个NULL值&#xff0c;并且重复值&#xff0c;而且LIST是一个有序的集合。 Set是一个不可重复的集合&#…

【深度学习】——日常知识点总结(持续更新)

设计卷积网络的原则&#xff1a; 1、最后转为一维有两种方式&#xff1a;1&#xff09;全局平均池化&#xff1b;2&#xff09;扁平化直接转化为一维的 2、在卷积层的大小变化时尽量保证特征图大小减小n倍时&#xff0c;特征图的个数也增加n倍&#xff0c;维持网络的复杂度&a…

主机无法访问虚拟机的httpd服务

症状&#xff1a;虚拟机装的centos6.3 通过桥接的方式与主机连接 虚拟机通过yum安装httpd服务 在主机浏览器中输入 虚拟机ip 无法访问虚拟机Apache 虚拟机和主机可以相互ping通 解决&#xff1a;关掉虚拟机的防火墙就可以了 命令setup进入防火墙管理 按空格键取消防火墙启用 转…

越狱Season 1- Episode 22: Flight

Season 1, Episode 22: Flight -Franklin: You know you got a couple of foxes in your henhouse, right? fox: 狐狸 henhouse: 鸡舍 你的队伍里都是一群狐狸 -Michael: They both want out of here. both: 两者都 他们都想出去 Theyll behave until then. behave: 举止端…

巴科斯范式BNF: Backus-Naur Form介绍

巴科斯范式(BNF: Backus-Naur Form. 的缩写)是由 John Backus 和 Peter Naur 首次引入一种形式化符号来描述给定语言的语法&#xff08;最早用于描述ALGOL 60 编程语言&#xff09;。 现在&#xff0c;几乎每一位新编程语言书籍的作者都使用巴科斯范式来定义编程语言的语法规则…

2017-2018-1 20155229 《信息安全系统设计基础》第十三周学习总结

2017-2018-1 20155229 《信息安全系统设计基础》第十三周学习总结 对“第二章 信息的表示和处理”的深入学习 这周的任务是选一章认为最重要的进行学习&#xff0c;我选择了第二章。当今的计算机存储和处理信息基本上是由二进制&#xff08;位&#xff09;组成&#xff0c;二进…

【VOC格式xml文件解析】——Python

#!/usr/bin/env python # -*- coding: utf-8 -*- # Time : 2021/4/26 12:49 # Author : linlianqin # Site : # File : test1.py # Software: PyCharm # description: import xml.etree.ElementTree as ETdef xmli(xmlpath):xmlTree ET.parse(xmlpath) # 解析xml文…