AnalyticDB for PostgreSQL 实时数据仓库上手指南

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-016601

版权

本文涉及的产品

云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月

推荐场景:

构建的企业专属Chatbot

立即试用

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景

scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

arch

开通实例:
如何在AnalyticDBPostgreSQL版控制台上创建实例_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

客户端:
客户端如何连接云原生数据仓库AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

产品文档:
ADB for PG 产品文档:快速掌握AnalyticDBPostgreSQL实例的创建,连接,开发和运维_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

常用操作
实例规格选型指导:如何选择云原生数据仓库AnalyticDBPostgreSQL版实例规格_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表规划和设计指导:如何创建和约束数据库中的表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
性能调优指导:不同操作场景下使用AnalyticDBPostgreSQL的性能优化指导_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
建表语法:VMware Greenplum Documentation
列存压缩(压缩比3到10倍):如何使用AnalyticDBforPostgreSQL列存和压缩功能_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
分区键选择:AnalyticDBPostgreSQL版如何选择表分布策略_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表分区(支持数字和日期类型上的多级分区):
如何定义分区表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
VMware Greenplum Documentation

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:AnalyticDBPostgreSQL版支持哪些数据写入方式_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

数据导入与同步:
数据同步和迁移方法总结:数据迁移及同步方案综述_云原生数据仓库 AnalyticDB PostgreSQL版-阿里云帮助中心
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:如何将数据从RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
数据集成DataX 按小时/天同步数据到 ADB for PG:如何通过DataWorks完成表级数据迁移_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
ADB for PG OSS 外部表文档:如何使用OSS外表高速导入数据至AnalyticDBPostgreSQL_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度-阿里云开发者社区

PostGIS 进行地理信息分析
使用PostGIS进行时空分析及典型使用场景_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

社区文档:
ADB for PG 社区官方手册:VMware Greenplum Documentation
MADlib SQL机器学习库:Apache MADlib

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/162959.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

iOS合并代码后解决冲突

合并主干和分支代码后有冲突,xcode无法运行,如下图:文件显示不了,项目名也显示不了 解决冲突: 1.选中左边目录栏的项目名。鼠标右键--> Show in Finder 2.选中项目文件 xxxx.xcodeproj。鼠标右键--> 显示包内容…

idea手动导入maven包

当maven仓库中没有包时&#xff0c;我们需要手动导入jar到maven项目中 1.这里的maven设置成你自己安装的maven 2.查看pom.xml文件中maven&#xff0c;以下面为例 <dependency><groupId>com.jdd.pay</groupId><artifactId>mapi-sdk-v3</artifactId&…

计网(复习自用)

计算机网络 1.概述 1.1概念 含义 计算机网络&#xff1a;是一个将分散的。具有独立功能的计算机系统&#xff0c;通过通信设备和线路连接起来&#xff0c;由功能完善的软件实现资源共享和信息传递的系统。 简单点说&#xff0c;计算机网络是互联的&#xff0c;自治的计算机集…

Android系统调试工具大全:解密adb、dumpsys、procrank等神器

Android系统调试工具大全&#xff1a;解密adb、dumpsys、procrank等神器 引言 Android开发中&#xff0c;调试是一个非常重要的环节&#xff0c;本文将介绍一些常用的Android系统调试工具&#xff0c;包括adb、logcat、procrank、dumpsys、dmesg、top、free、df、trace、pm、…

vue项目引入element-plus

文章目录 引入框架遇到的问题引入的时候&#xff0c;报错 ...(reading replace)...报错&#xff1a;The template root requires ...eslint报错&#xff1a; 运行 引入框架 使用add引入 遇到的问题 引入的时候&#xff0c;报错 …(reading ‘replace’)… Cannot read prop…

聊聊鼎叔的新书《无测试组织-测试团队的敏捷转型》

这是鼎叔的第八十篇原创文章。行业大牛和刚毕业的小白&#xff0c;都可以进来聊聊。 欢迎关注本公众号《敏捷测试转型》&#xff0c;星标收藏&#xff0c;大量原创思考文章陆续推出。 本书官方购买链接请点击 https://item.jd.com/14105386.html。 为何写作本书 对于“无测试组…

入选《数据结构与算法领域内容帮榜》第44名

入选《数据结构与算法领域内容帮榜》第44名

注册并实名认证华为开发者账号

首先 我们访问 https://www.harmonyos.com/ 访问鸿蒙官方网站 右上角 我们点击 登录 然后 我们选择注册 然后 注册方式 有邮箱和手机号的注册 这边 看大家需要 如果像我不怎么登邮箱这种 建议还是选择手机号注册 这里 居住地区 应该就是默认中国吧 然后 手机号 验证码 密码…

[springboot bug] mac 文件读取灵异事件

一开始是想尝试一下spring在过去的xml文件配置bean 的感觉&#xff0c;但是在测试 FileSystemXmlApplicationContext 的时候&#xff0c;反复确认文件路径没有问题&#xff0c;将 / -> \\ 也不起作用&#xff0c;后决定debug一下&#xff0c;发现根因。记录一下&#xff0c…

LeetCode算法心得——使用最小花费爬楼梯(记忆化搜索+dp)

大家好&#xff0c;我是晴天学长&#xff0c;很重要的思想动规思想&#xff0c;需要的小伙伴可以关注支持一下哦&#xff01;后续会继续更新的。&#x1f4aa;&#x1f4aa;&#x1f4aa; 1&#xff09;使用最小花费爬楼梯 给你一个整数数组 cost &#xff0c;其中 cost[i] 是从…

PTA-使用函数求最大公约数

本题要求实现一个计算两个数的最大公约数的简单函数。 函数接口定义&#xff1a; int gcd( int x, int y ); 其中x和y是两个正整数&#xff0c;函数gcd应返回这两个数的最大公约数。 裁判测试程序样例&#xff1a; #include <stdio.h> int gcd( int x, int y ); i…

【数据结构】深入浅出理解链表中二级指针的应用

&#x1f984;个人主页:修修修也 &#x1f38f;所属专栏:数据结构 ⚙️操作环境:Visual Studio 2022 (注:为方便演示本篇使用的x86系统,因此指针的大小为4个字节) 目录 &#x1f4cc;形参的改变不影响实参! 1.调用函数更改整型时传值调用与传址调用的区别 &#x1f38f;传值…

C#,简单修改Visual Studio 2022设置以支持C#最新版本的编译器,尊享编程之趣

1 PLS README & CHAPTER 5 用一个超简单的例子说明各版本 C# 的差异。 使用新版本&#xff08;比如C#.11&#xff09;&#xff0c;当然有一定的好处。我们在写程序的时候一般这样&#xff1a; Visual Studio 2022 默认只能这样写&#xff1a; string imageFile Path.C…

若依框架参数验证

文章目录 一、前端触发参数校验异常1.前端页面2.前端代码 二、后端触发参数校验异常1.前端页面2.后端报错 三、后端自定义参数验证1.添加注解2.触发后端校验 一、前端触发参数校验异常 1.前端页面 输入不符合校验规则的值来触发 2.前端代码 校验规则数组 表单的元素 修…

JAVA小游戏“飞翔的小鸟”

第一步是创建项目 项目名自拟 第二步创建个包名 来规范class 再创建一个包 来存储照片 如下&#xff1a; 代码如下&#xff1a; package game; import java.awt.*; import javax.swing.*; import javax.imageio.ImageIO;public class Bird {Image image;int x,y;int width…

Windows下安装Anaconda3并使用JupyterNoteBook

下载安装包 Anaconda官网 进官网&#xff0c;点击下载 自动根据当前系统下载对应的包了&#xff0c;安装包大约1G&#xff0c;喝杯Java耐心等待。 安装 很多人安装C盘&#xff0c;我这里放D盘。 注意&#xff1a;你的文件夹目录一定要不能有空格 然后其他的直接默认install即…

在线视频课程教育系统源码/网课网校/知识付费/在线教育系统/在线课程培训系统源码

源码简介&#xff1a; 在线视频课程教育系统源码&#xff0c;作为网课/网校/知识付费/在线教育系统&#xff0c;它有文章付费阅读在线点播自动发货付费阅读VIP会员系统等功能。它是实用的在线课程培训系统源码。 发货100-在线视频课程教育系统&#xff0c;它是一款功能实用的…

优思学院|2024年质量管理的大趋势

2023年我们已经顺利度过了整年的大部分时间&#xff0c;2024年质量管理的趋势和问题在全球范围内都已经引起了关注&#xff0c;或者仍然是企业导航的首要任务。 1. 通货膨胀与质量管理 2023年&#xff0c;全球范围内通货膨胀和严峻的经济状况成为企业最关心的问题之一。尽管物…

前端如何判空

这样判空就会报错 loadNode(node, resolve)console.log("node")console.log(node)if (node.data ! null) {this.get(ctx /publicity/publicityType/typeTreeData?id node.data.id).then((res) > {resolve(res)})}}, 需要这样写&#xff0c;用typeof来做类型判…

java 实现发送邮箱,复制即用,包含邮箱设置第三方登录授权码获取方法

application.yml spring:profiles:active: dev # active: test#邮件附件上传文件大小限制servlet:multipart:max-file-size: 50MB #单个文件大小限制max-request-size: 100MB #总文件大小限制&#xff08;允许存储文件的文件夹大小&#xff09;mail:default-encoding: UTF…