大数据 - Doris系列《一》- Doris简介

目录

🐶1.1 Doris 概述

🐶1.2 OLAP和OLTP（面试）

1. 应用场景

🥙联机事务处理OLTP(On-Line Transaction Processing)

🥙联机分析处理OLAP(On-Line Analytical Processing)

2. OLAP和OLTP比较--“用户行为日志数据”

3. 常见的开源OLAP引擎

🐶1.3 使用场景

🐶1.4 优势

🐶1.5 架构

1.🥙FE（Frontend）

2. 🥙BE（Backend）

3. 🥙MySQL Client

4. Broker:

🐶1.6 默认端口

🐶1.1 Doris 概述

Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后， 更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一 业务最大可达到上百 TB。

Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）

分析型（OLAP）数据库产品。仅需亚秒级（一秒钟的十亿分之一）响应时间即可获得查询结果，有效地支持实时数据分析。

大规模并行处理：存储的数据量大、计算的数据量也很大。

Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。

Apache Doris 可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。

🐶1.2 OLAP和OLTP（面试）

1. 应用场景

 

OLAP（联机分析处理）和OLTP（联机事务处理）是两种不同类型的数据库处理系统，它们存在的意义主要在于满足不同的业务需求和数据处理目标。

🥙联机事务处理OLTP(On-Line Transaction Processing)

公司业务系统使用数据库的场景，针对业务系统数据库有大量随机的增删改查

  •  高并发

  • 速度要快

  • 支持事务

在淘宝的网站上，OLTP系统用于处理用户的交易，包括浏览商品、下单、付款等。每个用户的交互都会影响数据库中的实时数据，例如库存数量、订单状态等。这确保了淘宝平台能够在高并发环境下迅速处理大量的交易请求。

🥙联机分析处理OLAP(On-Line Analytical Processing)

  • 公司的数据分析使用数据库的场景，对已经生成好的数据进行统计分析

  • 一次操作都是针对的整个数据集

  • 只有查这个动作，不会去增删改

  • 查询的响应速度相对慢点也能接受

  • 并发量要求不是太高

 淘宝也需要使用OLAP系统来进行分析，以了解用户购物习惯、热门商品趋势、销售季节性等信息。通过OLAP，淘宝可以生成各种报告和可视化图表，帮助业务决策者更好地了解市场动态，并采取适当的策略，例如优化推荐算法、调整营销策略等。 OLAP还可以用于监测业务的整体健康状况，发现潜在的问题并及时采取行动。

2. OLAP和OLTP比较--“用户行为日志数据”

OLTP

OLAP

数据源

仅包含当前运行日常业务数据

整合来自多个来源的数据，包括OLTP和外部来源

目的

面向应用,面向业务,支撑事务

面向主题，面向分析，支持分析决策

焦点

当下

主要面向过去，面向历史(实时数仓除外)

任务

增删改查

主要是用于读，select查询，写操作很少

响应时间

毫秒

秒，分钟，小时，天，这些取决于数据量和查询的复杂程度

数据量

小数据,MB,GB

大数据，TP,PB

 

3. 常见的开源OLAP引擎

开源OLAP引擎

优点

缺点

技术融合成本

易用性

使用场景

运维成本

引擎类型

ClickHouse

列式存储

单极性彪悍

保留明细数据

分布式集群在线扩展支持不佳

运维成本极高

高

非标协议接口

全面

高

纯列存OLAP

Druid

实时数据摄入

列式存储和位图索引

多租户和高并发

OLAP性能分场景表现差异大

使用门槛高

仅支持聚合查询

高

非标协议接口

局限

高

MOLAP

TiDB

HTAP混合数据库

同时支持明细和聚合查询

高度兼容mysql

非列式存储

OLAP能力不足

低

SQL标准

全面

低

纯列存OLAP

Kylin

与计算引擎，可以对数据一次聚合多次查询

支持数据规模超大

易用性强，支持标准sql

性能强，查询数据快

需要依赖hadoop生态

仅支持聚合查·询

不支持adhoc查询

不支持join和对数据的更新

高

SQL标准

局限

高

MOLAP

Doris

GooleMesa+Apache Impa+ORCFile/Parquet

主键更新

支持Rollup Table

高并发和高通图的Ad-hoc查询

支持聚合+明细数据查询

无外部系统依赖

成熟度不够

低

兼容mysql访问协议

全面

低

HOLAP

🐶1.3 使用场景

  • 报表分析

    • 实时看板 （Dashboards）

    • 面向企业内部分析师和管理者的报表

    • 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。

  • 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。

  • 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Hbase、Phoenix 组成的旧架构，架构大大简化。

  • 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升

🐶1.4 优势

 

🐶1.5 架构

Doris 的架构很简洁，只设 FE(Frontend)前端进程、BE(Backend)后端进程两种角色、两个后台的服务进程，不依赖于外部组件，方便部署和运维，FE、BE 都可在线性扩展。

1.🥙FE（Frontend）

  存储、维护集群元数据；负责接收、解析查询请求，规划查询计划,调度查询执行，返回查询结果。主要有三个角色：

  • Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下,元数据能够实时地在线恢复，而不影响整个服务。

    注意点：follower的存活数量要超过半数才能正常执行。

    • Leader: ①生成sql的执行计划 ②修改，写入元数据 ③备份元数据

    • follower: ①生成sql的执行计划 ② 备份元数据 ③leader挂了以后，竞选leader

  • Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。

    • observer: ①生成sql的执行计划 ②备份元数据

2. 🥙BE（Backend）

负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

3. 🥙MySQL Client

Doris 借助 MySQL 协议，用户使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客户端，都可以直接访问 Doris。

mysql -uroot -p -P9030 -hhadoop01

Mysql 本地主机名：localhost 端口号：3306

Mysql linux本地主机名或IP地址：hadoop01 hadoop02 hadoop03 192.168.252.101/192.168.252.102/192.168.252.103

4. Broker:

一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括 HDFS，S3，BOS 等。

 

🐶1.6 默认端口

实例名称

端口名称

默认端口

通讯方向

说明

BE

be_port

9060

FE-->BE

BE 上 thrift server 的端口,用于接收来自 FE 的请求

BE

webserver_port

8040

BE<-->FE

BE 上的 http server 端口

BE

heartbeat_service_port

9050

FE-->BE

BE 上心跳服务端口,用于接收来自 FE 的心跳

BE

brpc_prot*

8060

FE<-->BE,BE<-->BE

BE 上的 brpc 端口,用于 BE 之间通信

FE

http_port

8030

FE<-->FE ,用户<--> FE

FE 上的 http_server 端口

FE

rpc_port

9020

BE-->FE ,FE<-->FE

FE 上 thirft server 端口

FE

query_port

9030

用户<--> FE

FE 上的 mysql server 端口

FE

edit_log_port

9010

FE<-->FE

FE 上 bdbje 之间通信用的端口

Broker

broker_ipc_port

8000

FE-->BROKER,BE-->BROKER

Broker 上的 thrift server,用于接收请求

常用端口号

端口号

作用

8030

FE的Web UI端口

8040

BE的Web UI端口

9030

MYSQL客户端连接Doris的端口

9050

BE上心跳服务端口，用于接收来自FE的心跳

9010

FE之间的通信的端口

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/595557.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Unity SRP 管线【第五讲：自定义烘培光照】

Unity SRP 管线【第五讲：自定义烘培光照】

文章目录 一、自定义烘培光照1. 烘培光照贴图2. 获取光照贴图3. 获取物体在光照贴图上的UV坐标4. 采样光照贴图 二、自定义光照探针三、 Light Probe Proxy Volumes&#xff08;LPPV&#xff09;四、Meta Pass五、 自发光烘培 一、自定义烘培光照 细节内容详见catlikecoding.c…
阅读更多...
2024年防止内卷和被潜规则，RocketMQ消息中间件实战派上下册上线啦｜架构随笔录

2024年防止内卷和被潜规则，RocketMQ消息中间件实战派上下册上线啦｜架构随笔录

2023已经过去啦&#xff0c;作为技术小伙伴一定要做好2024年的规划&#xff0c;只有这样才能够避免内卷和潜规则。 2024年即将是一个重新开始的一年&#xff0c;但是你要说互联网不倦&#xff0c;那是不可能的&#xff0c;就连某大厂都开始走下坡路啦&#xff0c;里面卷的是不…
阅读更多...
很实用的ChatGPT网站—在线编程模块增补篇

很实用的ChatGPT网站—在线编程模块增补篇

很实用的ChatGPT网站&#xff08;http://chat-zh.com/&#xff09;——增补篇 今天介绍一个好兄弟开发的ChatGPT网站&#xff0c;网址[http://chat-zh.com/]。这个网站功能模块很多&#xff0c;包含生活、学习、医疗、法律、经济等很多方面。今天跟大家分享一下&#xff0c;新…
阅读更多...
Cesium自定义电子围栏特效材质

Cesium自定义电子围栏特效材质

1.new Cesium.Viewer中添加 requestWebgl1: true, 2. 编写材质&#xff0c;主要分三步 &#xff08;1&#xff09;定义MaterialProperty &#xff08;2&#xff09;设置材质 &#xff08;3&#xff09;添加材质 //定义材质对象及变量 function DynamicWallMaterialPropert…
阅读更多...
linux centos 添加临时ip

linux centos 添加临时ip

### 1.添加ip ip addr add IP/mask dev 网络设备 例&#xff1a;ip addr add 172.104.210.247/24 dev ens5f1 ### 2.启动网卡 ip link set up 网络设备 例&#xff1a;ip link set up ens3f0 ### 3.设置默认路由 ip route add default via GATEWAY 例&#xff1a;ip route add …
阅读更多...
C# 反射 入门到详解

C# 反射 入门到详解

1.什么是反射 首先看一张流程图 反射最最要的关注的地方 就在metadata 元数据 元数据&#xff1a;描述DLL/EXE文件中有什么内容 点击生成之后&#xff0c;就会在文件中生成DLL/EXE文件 点击打开文件夹 在bin/Debug 文件下就会生成该文件 exe/dll文件的区别&#xff1a;…
阅读更多...
NSSCTF websign

NSSCTF websign

开启环境&#xff1a; 提示我们看源码&#xff0c;那就看。 但是我们发现右键被禁用了&#xff0c; ctrlU也被禁用了。 直接在url前加view-source:得到页面源码取出flag
阅读更多...
银河麒麟V10sp3操作系统设备初始化（设置主机名、挂载数据盘、设置网卡bond模式）

银河麒麟V10sp3操作系统设备初始化（设置主机名、挂载数据盘、设置网卡bond模式）

本篇记录安装好银河麒麟V10sp3操作系统后对服务器做一些初始化配置 1、设置主机名 2、挂载数据盘 3、设置网卡bond模式 登录 打开终端 开始配置 1、设置主机名 hostnamectl set-hostname Kylin # Kylin为主机名2、挂载数据盘 先用fdisk命令查看磁盘信息 fdisk -l格式化数…
阅读更多...
【MySQL·8.0·源码】MySQL 的查询处理

【MySQL·8.0·源码】MySQL 的查询处理

Query processing MySQL 的 Query 处理可以分为 Parse、Prepare(Resolve/Transform)、Optimize 和 Execute 几个阶段 Parse 词法扫描器将 SQL 语句字符串分解为 tokens&#xff0c;语法分析器将 tokens 组装成语法树的子树结构&#xff0c;并 Reduce 为基本查询结构&#xff0…
阅读更多...
【SpringBoot】Java MVC 集成 Swagger 生成 API 文档

【SpringBoot】Java MVC 集成 Swagger 生成 API 文档

使用Swagger你只需要按照它的规范去定义接口及接口相关的信息,就可以做到生成接口文档,以及在线接口调试页面。官网: https://swagger.io/ Knife4j 是为Java MVC框架集成Swagger生成Api文档的增强解决方案。 <dependency><groupId>com.github.xiaoymin</groupI…
阅读更多...
ImportError: DLL load failed while importing imaging: 找不到指定的模块

ImportError: DLL load failed while importing imaging: 找不到指定的模块

24.1 ImportError: DLL load failed while importing imaging: 找不到指定的模块 参考&#xff1a;https://zhuanlan.zhihu.com/p/662305030?utm_id0 说明&#xff1a;Pillow 与pillow都可以&#xff0c;不区分首字母大小写 第一步&#xff1a;查看是否有pillow 1&#xff09;…
阅读更多...
Java实现阿里云OSS文件上传

Java实现阿里云OSS文件上传

1、OSS介绍 阿里云对象存储OSS&#xff08;Object Storage Service&#xff09;是一款云存储服务&#xff0c;通常用于图片、音视频、日志等海量文件的存储&#xff0c;并且数据以对象&#xff08;Object&#xff09;的形式存储在OSS的存储空间&#xff08;Bucket &#xff09…
阅读更多...
攀登者1 - 华为OD统一考试

攀登者1 - 华为OD统一考试

OD统一考试 分值&#xff1a; 100分 题解&#xff1a; Java / Python / C 题目描述 攀登者喜欢寻找各种地图&#xff0c;并且尝试攀登到最高的山峰。 地图表示为一维数组&#xff0c;数组的索引代表水平位置&#xff0c;数组的元素代表相对海拔高度。其中数组元素0代表地面。…
阅读更多...
计算机网络期末知识点总结

计算机网络期末知识点总结

计算机网络概述考点 计算机网络的组成 从组成部分看&#xff1a;一个完整的计算机网络主要由硬件、软件、协议三大部分组成&#xff0c;缺一不可。硬件主要指&#xff1a;主机、通信链路、交换设备和通信设备等&#xff1b;软件主要指&#xff1a;用户使用的各种软件&#xf…
阅读更多...
虹科方案|从困境到突破：TigoLeap方案引领数据采集与优化

虹科方案|从困境到突破：TigoLeap方案引领数据采集与优化

导读&#xff1a;在数字化工厂和智能制造的时代&#xff0c;数据已经成为优化机器和流程的关键。然而&#xff0c;如何高效地收集和处理这些数据&#xff0c;特别是在开发、部署和生产阶段&#xff0c;仍是企业面临的一大挑战。虹科TigoLeap平台&#xff0c;作为一款引领行业变…
阅读更多...
设计模式之原型模式【创造者模式】

设计模式之原型模式【创造者模式】

学习的最大理由是想摆脱平庸&#xff0c;早一天就多一份人生的精彩&#xff1b;迟一天就多一天平庸的困扰。各位小伙伴&#xff0c;如果您&#xff1a; 想系统/深入学习某技术知识点… 一个人摸索学习很难坚持&#xff0c;想组团高效学习… 想写博客但无从下手&#xff0c;急需…
阅读更多...
使用 SpringSecurity 发送POST请求出现 403

使用 SpringSecurity 发送POST请求出现 403

问题场景 在使用 SpringSecurity 时对一些访问权限进行了设置, 在用户请求资源时出现了403错误 , 通过检查代码发现请求权限是开放的, 并且切换成 GET 请求也是可以通过, 换成POST 请求就无法通过。 解决方法 在 SpringSecurity 中关闭 CSRF 因为 前端向后台发送 post 请求…
阅读更多...
自动化测试用例设计粒度

自动化测试用例设计粒度

自动化测试用例的粒度指的是测试用例的细致程度&#xff0c;即每个测试用例检查的功能点的数量和范围。 通常&#xff0c;根据测试用例的粒度&#xff0c;可以被分为3种不同的层次&#xff0c;从更低层次的细粒度到更高层次的粗粒度。 第一种&#xff1a;单元测试 - 细粒度 …
阅读更多...
JVM工作原理与实战(五)：类的生命周期-加载阶段

JVM工作原理与实战(五)：类的生命周期-加载阶段

专栏导航 JVM工作原理与实战 RabbitMQ入门指南 从零开始了解大数据 目录 专栏导航 前言 一、类的生命周期 1.加载&#xff08;Loading&#xff09; 2.连接&#xff08;Linking&#xff09; 3.初始化&#xff08;Initialization&#xff09; 4.使用&#xff08;Using&…
阅读更多...
CEC2017（Python）：蜣螂优化算法DBO求解CEC2017

CEC2017（Python）：蜣螂优化算法DBO求解CEC2017

一、CEC2017简介 参考文献&#xff1a; [1]Awad, N. H., Ali, M. Z., Liang, J. J., Qu, B. Y., & Suganthan, P. N. (2016). “Problem definitions and evaluation criteria for the CEC2017 special session and competition on single objective real-parameter numer…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023