大数据架构技术选型

OLAP数据库选型对比:
AnalyticDB(阿里)、Hologres(阿里)、Doris、StarRocks、ClickHouse、Hbase

AnalyticDB技术架构

db是融合数据库、大数据技术于一体的云原生企业级数据仓库服务、支持高吞吐的数据实时增删改查低延时的实时分析和复杂ETL、兼容上下游生态工具、可用于构建企业级报表系统、数据仓库和数据服务引擎等

接入层:负责和用户侧进行交互,接受查询请求解析SQL查询语句,生成并优化查询计划及任务调度
计算层:负责具体的任务计算逻辑执行
存储层:负责数据存储及扫描数据

产品形态:
弹性模式:存储计算分离,支持分别扩展、计算时弹性功能、计算资源组隔离功能

资源组
在弹性模式中
支持资源组隔离,资源池功能可以对计算资源进行弹性划分,不同资源池之间的计算资源在物理上完全隔离,通过ADB mysql数据库账号绑定到不同的资源池,sql查询根据绑定关系路由至对应的资源池进行执行,从而满足实例内部多租户、混合负载的需求

默认资源池
默认资源池 user_default 是实例创建时存在的,不可删除
自定义资源池
用户自定义创建的资源池,可以针对资源的计算、查询执行模式、ADB mysql账号与资源池的绑定关系修改

查询流程
1、用户下发sql
2、前端节点负责解析SQL、生成分布式执行计划、下发到计算节点和存储节点执行
3、执行完成后、将结果返回费前端节点

常见概念
1、Stage:代表了整个SQL分布式执行计划树中的一颗树,每一stage会对应多个tast并发
2、Tast:是stage在某一个worer或者excutor上的实例负责具体的计算执行
3、Oprator:具有计算能力的运算单位,表示一个计算逻辑
在这里插入图片描述
参考官网:https://help.aliyun.com/zh/analyticdb-for-mysql/product-overview/overall-architecture

hologres(实时数仓)技术架构
在这里插入图片描述
官网参考:https://help.aliyun.com/zh/hologres/product-overview/architecture

Doris技术架构
Doris整体架构如下图所示,Doris 架构非常简单,只有两类进程

Frontend(FE),主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

Backend(BE),主要负责数据存储、查询计划的执行。
在这里插入图片描述
参考官网:https://doris.apache.org/zh-CN/docs/get-starting/what-is-apache-doris/

StarRocks技术架构
在这里插入图片描述
参考官网:https://docs.mirrorship.cn/zh/docs/3.0/introduction/Architecture/

ClickHouse技术架构
Shard:集群内划分为多个分片或分组(Shard 0 … Shard N),通过 Shard 的线性扩展能力,支持海量数据的分布式存储计算。
Node: 每个 Shard 内包含一定数量的节点(Node,即进程),同一 Shard 内的节点互为副本,保障数据可靠。ClickHouse 中副本数可按需建设,且逻辑上不同 Shard 内的副本数可不同。
ZooKeeper Service: 集群所有节点对等,节点间通过 ZooKeeper 服务进行分布式协调。
在这里插入图片描述

参考:
https://developer.aliyun.com/article/1212409
https://developer.aliyun.com/article/1316795
https://developer.aliyun.com/live/43846

官网:
ClickHouse官网地址,请参见https://clickhouse.yandex/。

ClickHouse中文文档链接,请参见https://clickhouse.yandex/docs/zh/。

Hbase 技术架构
在这里插入图片描述

参考文档:
https://developer.aliyun.com/article/1172165
https://developer.aliyun.com/article/891048

特点及适用场景:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/756305.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

重载、重写(覆盖)和隐藏的区别

提示:文章 文章目录 前言一、背景二、 2.1 2.2 总结 前言 前期疑问: 本文目标: 一、背景 最近 二、 2.1 重载、重写(覆盖)和隐藏的区别 重载Overloading重写/覆盖Override隐藏Overwrite同一个类父子类关系父子…

stm32f103c8t6学习笔记(学习B站up江科大自化协)-USART串口-软件部分

前言: 本文属于软件部分,具体的串口硬件部分可见http://t.csdnimg.cn/afh48,对于串口的工作原理以及各个寄存器工作流程的记录十分详细。 一、接线图 二、stm32发送-电脑串口助手接收 1.USART初始化流程图 1.开启时钟 把需要使用的USART和…

【java-spring】spring AOP原理

Spring AOP(面向切面编程)是Spring框架的一个重要组成部分,它允许开发者将通用功能(如日志记录、事务管理等)从业务逻辑中分离出来,从而提高代码的可维护性和重用性。下面,我们将深入探讨Spring…

golang面试题总结

零、go与其他语言 0、什么是面向对象 在了解 Go 语言是不是面向对象(简称:OOP) 之前,我们必须先知道 OOP 是啥,得先给他 “下定义” 根据 Wikipedia 的定义,我们梳理出 OOP 的几个基本认知: …

13 龙芯平台openstack部署搭建-nova-controllercomputer部署(单节点)

一、创建Nova相关数据库、凭据与API端点 1.创建数据库并授权 #nova-controller先决条件 mysql -uroot -ploongson -e “CREATE DATABASE nova_api;” mysql -uroot -ploongson -e “CREATE DATABASE nova;” mysql -uroot -ploongson -e “CREATE DATABASE nova_cell0;” my…

leetcode 402. 移掉 K 位数字

题目链接:leetcode 402 1.题目 给你一个以字符串表示的非负整数 num 和一个整数 k ,移除这个数中的 k 位数字,使得剩下的数字最小。请你以字符串形式返回这个最小的数字。 2.示例 1)示例 1 : 输入:num …

操作系统设备管理

操作系统实现对外接设备的管理功能,主要是I/O设备,unix适用将外部设备抽象为特殊文件,用户用与外部文件相同的方法操作外部设备,具体又可以分为: 人机交互类外部设备,如鼠标键盘等,这类设备数据…

2024年阿里云服务器搭建幻兽帕鲁游戏_保姆级教程

玩转幻兽帕鲁服务器,阿里云推出新手0基础一键部署幻兽帕鲁服务器教程,傻瓜式一键部署,3分钟即可成功创建一台Palworld专属服务器,成本仅需26元,阿里云服务器网aliyunfuwuqi.com分享2024年新版基于阿里云搭建幻兽帕鲁服…

SpringBoot集成WebService

1&#xff09;添加依赖 <dependency><groupId>org.apache.cxf</groupId><artifactId>cxf-spring-boot-starter-jaxws</artifactId><version>3.3.4</version><exclusions><exclusion><groupId>javax.validation<…

【Linux】线程预备知识{远程拷贝/重入函数与volatile关键字/认识SIGCHILD信号/普通信号/实时信号}

文章目录 0.远程拷贝1.重入函数与volatile关键字2.认识SIGCHILD信号3.普通信号/实时信号 0.远程拷贝 打包资源&#xff1a;tar czf code.tgz *远程传输&#xff1a;scp code.tgz usr服务器ip:/home/usr/路径解压&#xff1a;tar xzf code.tgz 1.重入函数与volatile关键字 先看…

默写单词cpp(初学者版本)

笔摔坏了直接使用版:yum:仔细学习版:yum:1.直接使用版:yum:&#xff08;文件使用规范&#xff09;(1)文件(2)使用规范 2.仔细学习版。将会讲各个函数的功能和细节。今天太晚了&#xff0c;明天再写。 笔摔坏了 在一个阳光明媚的早晨&#xff0c;我愉快的奋笔疾书&#xff0c;抄…

【Stable Diffusion】专栏介绍和文章索引(持续更新中)

目录 1 背景2 思考3 文章索引&#xff08;持续更新中&#xff09;3.1 入门3.2 初级3.3 中级3.3 高级 1 背景 最近开始学习AIGC&#xff0c;对Stable Diffusion比较感兴趣&#xff0c;所以新建了这个专栏&#xff0c;来记录自己在使用和学习Stable Diffusion的一些方法、资料以…

推荐4个c++进度条开源库

在C中&#xff0c;有许多开源库可以帮助你创建进度条。以下是一些常用的C进度条库&#xff1a; 1. **indicators**: - GitHub链接: [https://github.com/p-ranav/indicators](https://github.com/p-ranav/indicators) - 特点: 轻量级&#xff0c;易于使用&#xff0c;支…

OpenCV学习笔记(十)——利用腐蚀和膨胀进行梯度计算以及礼帽和黑帽

梯度计算 在OpenCV中&#xff0c;梯度计算是图像处理中的一个基本操作&#xff0c;用于分析图像中像素值的变化速率的方向&#xff0c;其中梯度的方向是函数变化最快的方向&#xff0c;因此在图像中&#xff0c;沿着梯度方向可以找到灰度值变化最大的区域&#xff0c;这通常是…

我的自建博客之旅04之Halo

我的自建博客之旅04之Halo Halo是我无意间发现的一款博客框架,如果你讨厌Hexo,Vuepress等静态框架本地编辑,构建部署等方式,如果你想要一款一次搭建,前台是博客,后台是文章维护,并且支持各种定制化折腾的博客框架,可能Halo会比较适合你。 因为我个人还是比较偏技术,…

android11 添加实时记录logcat日志保存到data目录

软件平台&#xff1a;Android11 硬件平台&#xff1a;高通QCS6125 需求&#xff1a;设备即将上线&#xff0c;需要后台实时采集logcat日志&#xff0c;保存到相应目录下&#xff0c;方便app端上传到服务器&#xff0c;从而分析问题。 改动集中在logcat相关部分&#xff1a; …

【数据结构取经之路】栈

目录 引言 栈的性质 顺序栈 栈的基本操作 初始化 销毁 插入 删除 判空 取栈顶元素 栈的大小 完整代码&#xff1a; 引言 栈(stack)&#xff0c;可以用数组实现&#xff0c;也可以用链表实现。用数组实现的栈叫顺序栈&#xff0c;用链表实现的栈叫链式栈&#…

【Python 48小时速成 4】注释

在 Python 中&#xff0c;注释是用来解释代码的说明文本&#xff0c;不会被解释器执行。Python 中的注释以 # 开头&#xff0c;可以是单行注释或多行注释。以下是注释的使用示例&#xff1a; # 这是一个单行注释""" 这是一个多行注释 多行注释可以跨越多行 在三…

wayland(xdg_wm_base) + egl + opengles 使用 Assimp 加载材质文件Mtl 中的纹理图片最简实例(十六)

文章目录 前言一、3d 立方体 model 属性相关文件1. cube.obj2. cube.Mtl3. 纹理图片 cordeBouee4.jpg二、代码实例1. 依赖库和头文件1.1 assimp1.2 stb_image.h2. egl_wayland_obj_cube.cpp3. Matrix.h 和 Matrix.cpp4. xdg-shell-client-protocol.h 和 xdg-shell-protocol.c5.…

SCI一区 | Matlab实现GWO-TCN-BiGRU-Attention灰狼算法优化时间卷积双向门控循环单元融合注意力机制多变量时间序列预测

SCI一区 | Matlab实现GWO-TCN-BiGRU-Attention灰狼算法优化时间卷积双向门控循环单元融合注意力机制多变量时间序列预测 目录 SCI一区 | Matlab实现GWO-TCN-BiGRU-Attention灰狼算法优化时间卷积双向门控循环单元融合注意力机制多变量时间序列预测预测效果基本介绍模型描述程序…