大数据 - Doris系列《二》- Doris安装（亲测成功版）

目录

🐶2.1 安装前准备

🥙1.设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数

🥙3.时钟同步

🥙4.关闭交换分区（swap）

🐶2.2 安装FE

🐶2.3 安装BE

🐶2.4 BE向FE注册

🐶2.5 扩容和缩容（搭建集群）

🥙2.5.1 doris集群的扩容

🥙2.5.2 缩容

🐶2.1 安装前准备

  • Linux 操作系统版本需求

Linux 系统版本
CentOS7.1 及以上
Ubuntu16.04 及以上

  • 软件需求

软件版本
Java1.8 及以上
GCC4.8.2 及以上

  • 测试环境硬件配置需求

模块CPU内存磁盘网络实例数量
Frontend8核+8GB+SSD 或 SATA，10GB+ *千兆网卡1
Backend8核+16GB+SSD 或 SATA，50GB+ *千兆网卡1-3 *

  • 生产环境硬件配置需求

模块CPU内存磁盘网络实例数量（最低要求）
Frontend16核+64GB+SSD 或 RAID 卡，100GB+ *万兆网卡1-5 *
Backend16核+64GB+SSD 或 SATA，100G+ *万兆网卡10-100 *

  • 操作系统环境要求

🥙1.设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数

doris要求在linux上面只要要打开65536的句柄数，doris才能正常运行。而linux默认打开的句柄数为1000.所以需要修改。

1.打开文件
security  /sɪˈkjʊərəti/
vi /etc/security/limits.conf 
2.在文件最后添加下面几行信息(注意* 也要复制进去)* soft nofile 65536
* hard nofile 65536 
* soft nproc 65536
* hard nproc 65536ulimit -n 65536 临时生效修改完文件后需要重新启动虚拟机，重启永久生效
reboot如果不修改这个句柄数大于等于60000，回头启动doris的be节点的时候就会报如下的错
如果报错：Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.
代表句柄数没有生效，需要临时设置或者重启电脑第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案：
命令行输入：sysctl -w vm.max_map_count=2000000

 🥙2.设置文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

临时生效：
sysctl -w vm.max_map_count=2000000永久剩下
vi /etc/sysctl.conf
在文件最后一行添加
vm.max_map_count=2000000让他永久生效
sysctl -p检查是否生效
sysctl -a|grep vm.max_map_count

🥙3.时钟同步

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

如何时间同步？？
首先安装 ntpdate   
# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
[root@doitedu01 doris]# yum install ntpdate -y然后开始三台机器自己同步时间[root@node01 ~]# ntpdate ntp.sjtu.edu.cn美国标准技术院时间服务器：time.nist.gov（192.43.244.18）
上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）
中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）# 将当前时间写入bios，这样才能永久生效不变，不然reboot后还会恢复到原来的时间
clock -w

🥙4.关闭交换分区（swap）

交换分区是linux用来当做虚拟内存用的磁盘分区；

linux可以把一块磁盘分区当做内存来使用（虚拟内存、交换分区）；

Linux使用交换分区会给Doris带来很严重的性能问题，建议在安装之前禁用交换分区；

1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a[root@doitedu01 app]# free -mtotal        used        free      shared  buff/cache   available
Mem:           5840         997        4176           9         666        4604
Swap:          6015           0        6015
[root@doitedu01 app]# swapoff -a3.验证是否关闭成功
[root@doitedu01 app]# free -m   total        used        free      shared  buff/cache   available
Mem:           5840         933        4235           9         671        4667
Swap:             0           0           0

注意事项：

  1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个GB 不等。

  2. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。

  3. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数 据，那么至少需要 3 台机器各部署一个 BE 实例（而不是 1 台机器部署 3 个 BE 实例）。多 个 FE 所在服务器的时钟必须保持一致（允许最多 5 秒的时钟偏差）

  4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。

  5. 所有部署节点关闭 Swap。

  6. FE 节点数据至少为 1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。

  7. Follower 的数量必须为奇数，Observer 数量随意。

  8. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

  9. Broker 是用于访问外部数据源（如 HDFS）的进程。通常，在每台机器上部署一个 broker 实例即可。

🐶2.2 安装FE

  1. 去官网下载源码包，官网地址：https://doris.apache.org

 根据自己的配置选择性点击下载

当然你也可以选择历史版本下载

2. 上传到linux

3. 解压

官网下载下来的是xz结尾的，所以解压需要用
tar -xvJf ***.tar.xz

4.修改配置文件

-- 去自己的路径中找到fe.conf文件
vi /opt/app/doris1.2.5/fe/conf/fe.conf #配置文件中指定元数据路径： 注意这个文件夹要自己创建
meta_dir = /opt/data/doris/fe/doris-meta#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.100.0/24

这个元数据的存放路径是在linux本地的

5. 添加环境变量

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.2.5/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

6. 分发集群

> scp /et/profile hadoop02:/etc/profile
> scp -r /opt/apps/doris1.2.5/ hadoop02:/opt/apps/doris1.2.5/> scp /et/profile hadoop03:/etc/profile
> scp -r /opt/apps/doris1.2.5/ hadoop03:/opt/apps/doris1.2.5/

7. 启动

进入到fe的bin目录下执行
[root@doitedu01 bin]# ./start_fe.sh --daemon       //该脚本以守护（daemon)模式运行

8. 查看是否启动成功

jps

结果：

 

9. 安装问题

问题：在这里我一开始只用./start_fe.sh 启动，进程一直结束不了。使用ctrl+C跳出后，进程也随之结束了。

原因这可能是因为在非守护（daemon）模式下，该命令在前台运行，占用了终端并阻塞了你的输入。通过使用 --daemon 参数，你将该命令转为在后台以守护进程的形式运行，不再与当前终端关联，因此可以正常结束终端而不影响该进程的运行。

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

🐶2.3 安装BE

1. 修改配置文件

 2. 进入到be的conf目录下修改配置文件

vi be.conf  #配置文件中指定数据存放路径： 
storage_root_path = /opt/data/doris/be/storage.HDD;/opt/data/doris/be/storage.SSD#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.100.0/24 第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案：
命令行输入：sysctl -w vm.max_map_count=2000000如果报错：Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.

硬盘驱动器（HDD）和固态硬盘（SSD）都是计算机存储设备，但它们在工作原理和性能方面有很大的不同。

  1. HDD（Hard Disk Drive）硬盘驱动器：

    1. 工作原理： HDD使用旋转的磁盘（称为盘片）来存储数据。数据存储在盘片的表面，通过一个移动的读写头来读取或写入数据。这个读写头在盘片上移动，类似于唱片机的臂。

    2. 特点： 相对较便宜，容量大，适用于大量数据存储。但由于机械部件的存在，速度相对较慢，对冲击和振动敏感。

  2. SSD（Solid State Drive）固态硬盘：

    1. 工作原理： SSD没有机械部件，而是使用闪存存储技术，类似于USB闪存驱动器。数据通过电子存储在芯片中，读写速度更快。

    2. 特点： 速度更快，对冲击和振动不敏感，能耐受更高的温度。相对较小轻便，省电。但价格相对较高，容量较小。

Doris不会检查到底是否挂载到hdd或者ssd上，它只会根据你创建的文件夹的后缀去判断是ssd还是hdd

一般我们电脑只有一个SSD硬盘，我们可以将storage.HDD和storage.SSD文件夹都挂载到SSD硬盘上。

2. 添加环境变量

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.2.5/be
export PATH=$PATH:$DORIS_BE_HOME/bin

3. 启动BE

启动 BE（每个节点） 
/opt/app/doris/be/bin/start_be.sh --daemon

4. 尝试登录doris看看是否成功

启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
mysql -uroot -p -P9030 -hhadoop01

结果：

5. 尝试访问Web UI界面看看是否成功

主机名：8030（fe Web UI界面）

主机名：8040（BE WEB UI界面）

6. 注意事项：

1)storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状

态的分号;分隔（最后一个目录后不要加）。

2)可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末

尾，通过英文状态逗号，隔开，如：

storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

3)说明：

/home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD;

/home/disk2/doris.SSD,10，存储限制为 10GB，SSD；

/home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD

🐶2.4 BE向FE注册

这样就好了嘛？不是哦

因为FE和BE两个都是单独的个体，所以他俩相互间还不认识，就需要我们通过mysql的客户端将他们建立起联系

show proc '/backends' \G; --以文本的形式展示所有的be节点
show proc '/frontends' \G;  --以文本的形式展示所有的fe节点Alive so为 false 表示该 BE 节点还是死的
Alive 为 true 表示该 BE 节点存活。

be和fe本身都是两个单独的后台服务进程需要将be向fe进行注册
alter system add backend 'hadoop01:9050';

此时再次show backends,就可以看到信息了。

🐶2.5 扩容和缩容（搭建集群）

🥙2.5.1 doris集群的扩容

1）需要将linux01上面配好的doris文件分发到linux02和03两台机器上
2）--修改配置文件

  • fe ip：192.168.100. ==》因为ip地址前24位是相同的所以，所以这里不需要修改
  • 元数据存储的路径要改吗？==》要创建的是一个空的文件夹
  • be ip ==》因为ip地址前24位是相同的所以，所以这里不需要修改）
  • 数据存储的路径要不要改 ==》 创建空文件夹

3）启动linux02和linux03上的fe和be
第一次启动fe的时候，需要加上一个参数  --helper linux01:9010
be不需要，只有fe需要

4）将02 和 03 上的fe和be启动起来之后
linux01上的fe认识这俩吗？

不认识，所有linux02和linux03的fe及be节点也需要向linux01的fe节点报道，这样才能写进元数据。

alter system add backend 'linux02:9050';
alter system add backend 'linux03:9050';
alter system add follower 'linux03:9010';
alter system add follower 'linux02:9010';

🥙2.5.2 缩容

alter system drop backend "doitedu01:9050"; 直接删除
alter system decommission backend "doitedu01:9050"; 先备份后删除

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/597224.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

论文悦读（7）——NVM文件系统之Trio（SOSP‘23）文件系统

论文悦读（7）——NVM文件系统之Trio（SOSP‘23）文件系统

TRIO（SOSP23） 1. 背景（Background）1.1 NVM Technologis1.2 File System Customization1.3 Userspace NVM File Systems 2. 观察与动机（Observation & Motivation）3. 设计与实现（Design &…
阅读更多...
JMeter 插件大全：详细介绍 Jmeter 常用插件

JMeter 插件大全：详细介绍 Jmeter 常用插件

JMeter作为一个开源的接口性能测试工具，其本身的小巧和灵活性给了测试人员很大的帮助，但其本身作为一个开源工具，相比于一些商业工具（比如 LoadRunner），在功能的全面性上就稍显不足。这篇博客，就…
阅读更多...
傅里叶级数、傅里叶变换、小波变换、离散余弦变换的理解

傅里叶级数、傅里叶变换、小波变换、离散余弦变换的理解

目录 1. 傅里叶级数2.傅里叶变换 1. 傅里叶级数 功能：能把任意周期性函数展开成一系列正弦、余弦函数的和。 公式： f ( x ) a 0 2 ∑ n 1 ∞ ( a n cos ⁡ ( 2 π n x T ) b n sin ⁡ ( 2 π n x T ) ) 傅里叶系数 a n 2 T ∫ x 0 x 0 T f ( x )…
阅读更多...
网络安全|2024年需要重点关注的10种DNS攻击类型

网络安全|2024年需要重点关注的10种DNS攻击类型

目前，针对域名系统（DNS）的攻击已经成为企业组织数字化发展中的一个严重问题，每年都有数千个网站成为此类攻击的受害者。据最近的研究数据显示，2023年企业组织与DNS攻击相关的损失同比增加了49%，这些损失不仅…
阅读更多...
即时设计：一键查看设计稿与页面差异，让设计师的工作更便捷高效

即时设计：一键查看设计稿与页面差异，让设计师的工作更便捷高效

设计稿走查 在设计工作中，对设计稿和实际页面进行对比是必不可少的环节。然而，传统的对比方式往往耗时耗力，无法精确测量差异。为了解决这个问题，我们推出了一款强大的工具，它可以通过图片对比，轻松查看设…
阅读更多...
使用results.csv文件数据绘制mAP对比图

使用results.csv文件数据绘制mAP对比图

yolov5每次train完成（如果没有中途退出）都会在run目录下生成expX目录（X代表生成结果次数 第一次训练完成生成exp0 第二次生成exp1…以此类推）。expX目录下会保存训练生成的weights以及result.txt文件，其中weights是训练…
阅读更多...
Redis第3讲——跳跃表详解

Redis第3讲——跳跃表详解

一、什么是跳跃表 跳跃表（skiplist）是一种随机化的数据结构，由William Pugh在论文《Skip lists: a probabilistic alternative to balanced trees》中提出。它通过在每个节点中维持多个指向其它节点的指针，从而达到快速访问节点的…
阅读更多...
Zabbix 监控介绍

Zabbix 监控介绍

1、功能概述 通常所说的监控，会模糊地包含以上下个细分领域的内容： 应用性能监控（Application Performance Monitoring）业务交易监控（Business Transaction Monitoring）网络性能监控（Network …
阅读更多...
华为云CES监控与飞书通知

华为云CES监控与飞书通知

华为云负载均衡连接数监控与飞书通知 在云服务的日常运维中，持续监控资源状态是保障系统稳定性的关键步骤之一。本文通过一个实际案例展示了如何使用华为云的Go SDK获取负载均衡器的连接数，并通过飞书Webhook发送通知到团队群组，以便运维人员…
阅读更多...
福利来袭，.NET Core开发5大案例，30w字PDF文档大放送！！！

福利来袭，.NET Core开发5大案例，30w字PDF文档大放送！！！

千里之行，始于足下，若想提高软件编程能力，最最重要的是实践，所谓纸上得来终觉浅，绝知此事要躬行。根据相关【艾宾浩斯遗忘曲线】研究表明，如果不动手实践，记住的东西会很快忘记。 为了便于大家查…
阅读更多...
C#设计模式之观察者模式

C#设计模式之观察者模式

前言 观察者（Observer)模式也称发布-订阅（Publish-Subscribe）模式，定义了对象间一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。 观察者模式的图解如下所示…
阅读更多...
小程序测试和APP测试的区别

小程序测试和APP测试的区别

今天看了一下关于如何测试小程序的教学视频，里面讨论了一个很经典的面试题：小程序测试和APP测试的区别，包括在之前的面试过程中也确实是遇到过这个问题，所以这次打算把它记录下来，也算是知识巩固了。 首先从测试的内容…
阅读更多...
android7以上 代码安装APK

android7以上 代码安装APK

一、所需权限 <!--请求安装APK的权限--> <uses-permission android:name"android.permission.REQUEST_INSTALL_PACKAGES" /> <!--写如外部存储的权限--> <uses-permission android:name"android.permission.WRITE_EXTERNAL_STORAGE"…
阅读更多...
【DevOps-03】Build阶段-Maven安装配置

【DevOps-03】Build阶段-Maven安装配置

一、简要说明 下载安装JDK8下载安装Maven二、复制准备一台虚拟机 1、VM虚拟复制克隆一台机器 2、启动刚克隆的虚拟机，修改IP地址 刚刚克隆的虚拟机 ，IP地址和原虚拟的IP地址是一样的，需要修改克隆后的虚拟机IP地址，以免IP地址冲突。 # 编辑修改IP地址 $ vi /etc/sysconfig…
阅读更多...
内存管理的概念-第四十一天

内存管理的概念-第四十一天

目录 前言 内存空间的分配与回收 内存空间的扩展 地址转换 存储保护 上下限寄存器 重定位寄存器和界地址寄存器 本节思维导图 前言 操作系统作为系统资源的管理者&#xff0c;当然也需要对内存进行管理&#xff0c;要管理什么呢&#xff1f; 操作系统复杂内存空间的分…
阅读更多...
Lazada商品详情API（lazada.item_get）进行商品的实时更新

Lazada商品详情API（lazada.item_get）进行商品的实时更新

一、引言 在数字时代&#xff0c;电商平台如Lazada成为了商品交易的重要场所。为了保持竞争力&#xff0c;实时更新商品信息变得至关重要。Lazada提供的商品详情API&#xff08;lazada.item_get&#xff09;为开发者提供了一个高效的方式来获取并更新商品数据。本文将深入探讨…
阅读更多...
SpringBoot全局Controller返回值格式统一处理

SpringBoot全局Controller返回值格式统一处理

一、Controller返回值格式统一 1、WebResult类 在 Controller对外提供服务的时候&#xff0c;我们都需要统一返回值格式。一般定义一个 WebResult类。 统一返回值&#xff08;WebResult类&#xff09;格式如下&#xff1a; {"success": true,"code": 2…
阅读更多...
express+mongoDB开发入门教程之mongoose使用讲解

express+mongoDB开发入门教程之mongoose使用讲解

系列文章 node.js express框架开发入门教程 expressmongoDB开发入门教程之mongoDB安装expressmongoDB开发入门教程之mongoose使用讲解 文章目录 系列文章前言一、Mongoose是什么&#xff1f;二、Mongoose安装三、Mongoose在express项目中使用步骤一、连接mongoDB数据库步骤二、…
阅读更多...
模拟器怎么代理IP？代理IP对手机设置模拟器有哪些影响？

模拟器怎么代理IP？代理IP对手机设置模拟器有哪些影响？

一、代理IP的基本概念和作用流冠代理IP是一种网络服务&#xff0c;可以帮助用户隐藏自己的真实IP地址&#xff0c;通过代理服务器进行网络请求&#xff0c;从而保护用户的隐私和安全。在模拟器中&#xff0c;代理IP的作用也是如此&#xff0c;可以帮助模拟器隐藏真实的IP地址&a…
阅读更多...
javascript 常见工具函数（一）

javascript 常见工具函数（一）

1.将JSON数据根据相同值&#xff0c;进行归类划分&#xff1a; var arr [{ time: "1", img: "22222" }, { time: "2", img: "555" }, { time: "1", img: "888888" }, { time: "2", img: "4444&q…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023