Doris单机部署——2.0.1.1版本

目录

一、前期准备工作

1.设置系统最大文件打开句柄数

2.时钟同步

3.关闭每台机器的交换分区

4.下载安装包

二、单节点部署安装Doris

(一)安装fe

1.解压改名

2.修改配置文件

3.创建元数据目录

4.启动fe

5.访问fe的webUI

(二)安装be

1.进入be目录下,修改配置文件

2.创建两个storage文件

3.修改start-be.sh文件,第一行添加JAVA_HOME

4.启动前输入命令

5.启动be

6.检查be是否启动成功

(三)连接fe和be

1.登录Doris客户端界面

2.查看fe状态

3.查看be状态

4.添加be到fe

(四)部署broker(可选)

1.启动broker

2.添加broker节点

(五)关闭Doris


Doris官网地址:https://doris.apache.org/

一、前期准备工作

准备三台机器,建立好ssh免密传输,在每台机器都要做如下步骤:

1.设置系统最大文件打开句柄数

打开三台机器的/etc/security/limits.conf文件,在文件最后一行输入如下内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

2.时钟同步

参考往期文章《Linux中CentOS7时间与网络时间orWindows同步的方法》

3.关闭每台机器的交换分区

4.下载安装包

https://doris.apache.org/download

我下载的是2.0.1.1版本的

二、单节点部署安装Doris

(一)安装fe

选择集群中的一台机器,进行如下操作:

1.解压改名

tar -zxf apache-doris-2.0.1.1-bin-x64.tar.gz -C /opt/module/cd /opt/module/mv apache-doris-2.0.1.1-bin-x64/ doris-2.0.1.1cd doris-2.0.1.1/

2.修改配置文件

-- 去自己的路径中找到fe.conf文件
vim /opt/module/doris-2.0.1.1/fe/conf/fe.conf# fe日志存放路径
LOG_DIR = ${DORIS_HOME}/log# 配置文件中指定元数据路径: 需手动创建该目录
meta_dir = /opt/module/doris-2.0.1.1/doris-meta
# 注意:生产环境强烈建议单独指定目录不要放在Doris安装目录下,最好是单独的磁盘(如果有SSD最好)
# 测试开发环境可以使用默认配置#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.180.0/24
# 192.168.180.0/24表示以192.168.180为网络地址的一个子网
# 其中该子网中的主机地址可以是从192.168.180.1到192.168.180.254的任意IP地址 # fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 8GB。 

3.创建元数据目录

mkdir -p /opt/module/doris-2.0.1.1/doris-meta

4.启动fe

/opt/module/doris-2.0.1.1/fe/bin/start_fe.sh# 或者后台启动
/opt/module/doris-2.0.1.1/fe/bin/start_fe.sh --daemon

 

5.访问fe的webUI

http://hadoop102:8030

username是root,没有密码,直接登录即可

(二)安装be

1.进入be目录下,修改配置文件

vim /opt/module/doris-2.0.1.1/be/conf/be.confpriority_networks = 192.168.180.0/24storage_root_path = /opt/module/doris-2.0.1.1/be/storage.HDD;/opt/module/doris-2.0.1.1/be/storage.SSD

2.创建两个storage文件

mkdir -p /opt/module/doris-2.0.1.1/be/storage.HDD
mkdir -p /opt/module/doris-2.0.1.1/be/storage.SSD

3.修改start-be.sh文件,第一行添加JAVA_HOME

cd /opt/module/doris-2.0.1.1/be/bin/vim start-be.shexport JAVA_HOME=/opt/module/jdk1.8.0_212

4.启动前输入命令

第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案:
命令行先输入:sysctl -w vm.max_map_count=2000000

5.启动be

/bin/start-be.sh

6.检查be是否启动成功

[root@hadoop102 ~]# netstat -nltp | grep be
tcp        0      0 0.0.0.0:9050            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:9060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      7311/doris_be 

(三)连接fe和be

因为FE和BE两个都是单独的个体,所以他俩相互间还不认识,就需要我们通过mysql的客户端将他们建立起联系 

1.登录Doris客户端界面

在 FE 中添加所有 BE 节点,可以使用 mysql-client(下载MySQL 5.7) 连接到 FE:

mysql -uroot -P9030 -p -hhadoop102

2.查看fe状态

show proc '/frontends' \G

红框内表示该节点的机器是leader

3.查看be状态

SHOW PROC '/backends' \G;

4.添加be到fe

alter system add backend 'hadoop102:9050';

此时be成功和fe连接!

(四)部署broker(可选)

        Broker 是用于访问外部数据源(如 hdfs)的进程。Broker 以插件的形式,独立于 Doris 部署。如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的,建议每一个 FE 和 BE 节点都部署一个 Broker。

1.启动broker

# 直接启动broker即可/opt/module/doris-2.0.1.1/extensions/apache_hdfs_broker/bin/start_broker.sh --daemon 

2.添加broker节点

使用 mysql-client 连接启动的 FE,执行以下命令:

# 查看broker
mysql> SHOW PROC "/brokers"; # 添加broker
mysql> ALTER SYSTEM ADD BROKER broker_name "hadoop102:8000","hadoop103:8000","hadoop104:8000";

(五)关闭Doris

        在关闭Doris的Broker、FE(Frontend)和BE(Backend)之前,建议首先关闭BE(Backend),然后再关闭FE(Frontend),最后关闭Broker。

  • 关闭BE是因为BE是Doris的存储和计算引擎,关闭BE可以确保数据的完整性和一致性。
  • 关闭FE是因为FE是Doris的前端服务,关闭FE可以停止对外提供查询和操作接口。
  • 关闭Broker是最后一步,关闭Broker可以确保所有请求已经处理完毕,避免数据丢失或不一致的情况发生。

        请注意,在关闭任何组件之前,确保已经进行了适当的备份,并且关闭顺序可能因具体环境和需求而有所不同。

关闭时执行关闭脚本即可

后台启动有可能关不掉be,解决办法:

集群部署后期会更新~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/172517.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode—35.搜索插入位置【简单】

2023每日刷题&#xff08;四十&#xff09; Leetcode—35.搜索插入位置 实现代码 int lower_bound(int* arr, int numsSize, int tar) {int left 0, right numsSize;int mid;// 左闭右开[left, right)while(left < right) {mid left (right - left) / 2;if(arr[mid] &…

Cadence Vmanager vsif文件编写指南(持续更新...)

目录 1.NTF格式介绍 1.1.1 {属性&#xff1a;值}定义 1.1.2类别 1.1.3语法 2.vsif文件中有效的container 2.1 session {…} 1.NTF格式介绍 Cadence的Vmanager工具采用vsif类型的文件作为regression的输入文件&#xff0c;采用vplanx/csv类型的文件作为vplan的输入文件&am…

BC77 简单计算器(牛客)

#include <stdio.h> int main() {double a, b, d;//用来接收浮点数char c;//用来接受符号scanf("%lf %c %lf", &a, &c, &b);if (c || c - || c * || c /)//判断输入的运算符号不包括在&#xff08;、-、*、/&#xff09;范围内{switch (c)//根…

Kotlin应用——使用kt进行web开发 使用h2database进行初始化数据库 mybatis-plus使用

Kotlin 是一门现代但已成熟的编程语言&#xff0c;旨在让开发人员更幸福快乐。 它简洁、安全、可与 Java 及其他语言互操作&#xff0c;并提供了多种方式在多个平台间复用代码&#xff0c;以实现高效编程。 kt入门的合集文章如下&#xff1a; Kotlin学习——kt入门合集博客 &…

P16 C++构造函数

目录 前言 01 什么是构造函数呢&#xff1f; 02 非构造函数初始化变量 03 构造函数初始化变量 04 带参数的构造函数。 最后的话 前言 我们继续学习 C 的面向对象编程&#xff0c;本章主要是讲其中的 构造函数。 01 什么是构造函数呢&#xff1f; 构造函数基本上是一种特…

tinyViT论文笔记

论文&#xff1a;https://arxiv.org/abs/2207.10666 GitHub&#xff1a;https://github.com/microsoft/Cream/tree/main/TinyViT 摘要 在计算机视觉任务中&#xff0c;视觉ViT由于其优秀的模型能力已经引起了极大关注。但是&#xff0c;由于大多数ViT模型的参数量巨大&#x…

MetaObject-BeanWrapper-MetaClass-Reflector的关系

MetaObject、BeanWrapper、MetaClass、Reflector之间是通过装饰器模式逐层进行装饰的。其中MetaObject、BeanWrapper是操作对象&#xff1b;MetaClass、Reflector是操作Class ObjectWrapper类结构图 BaseWrapper是对BeanWrapper、MapWrapper公共方法的提取及类图的优化&#…

线程的创建方式

作者简介&#xff1a; zoro-1&#xff0c;目前大二&#xff0c;正在学习Java&#xff0c;数据结构&#xff0c;mysql&#xff0c;javaee等 作者主页&#xff1a; zoro-1的主页 欢迎大家点赞 &#x1f44d; 收藏 ⭐ 加关注哦&#xff01;&#x1f496;&#x1f496; 线程的创建方…

知识点小总结

‘Integer(int)‘ 已经过时了 https://blog.csdn.net/qq_43116031/article/details/127793512 解决Java中的“找不到符号“错误 解决Java中的“找不到符号“错误_java: 找不到符号_很酷的站长的博客-CSDN博客 可右键打开 错误: 编码 UTF-8 的不可映射字符 错误: 编码 UTF-8 …

Less的函数的介绍

文章目录 前言描述style.less输出后言 前言 hello world欢迎来到前端的新世界 &#x1f61c;当前文章系列专栏&#xff1a;Sass和Less &#x1f431;‍&#x1f453;博主在前端领域还有很多知识和技术需要掌握&#xff0c;正在不断努力填补技术短板。(如果出现错误&#xff0c;…

什么是无监督学习

1 概况 1.1 定义 无监督学习&#xff08;Unsupervised Learning&#xff09;是机器学习的一种类型&#xff0c;它涉及从未标记的数据中发现隐藏的模式。与监督学习不同&#xff0c;无监督学习的数据没有显式的标签或已知的结果变量。其核心目的是探索数据的内在结构和关系。无…

Less 嵌套规则

文章目录 前言描述style.less输出后言 前言 hello world欢迎来到前端的新世界 &#x1f61c;当前文章系列专栏&#xff1a;Sass和Less &#x1f431;‍&#x1f453;博主在前端领域还有很多知识和技术需要掌握&#xff0c;正在不断努力填补技术短板。(如果出现错误&#xff0c;…

数据库基础教程之创建触发器,实现自动更新时间戳(四)

postgresql 更新时间戳需要通过触发器来实现,这里给出两种方法来实现。 创建字段create_time和edit_time 通过Navicat在添加字段时候将字段设置为timestamp类型,生成时间戳方式为CURRENT_TIMESTAMP或者设置为now(),然后点击保存。 新建函数 点击函数,然后在弹出的函数向导中…

RabbitMQ之MQ的可靠性

文章目录 前言一、数据持久化交换机持久化队列持久化消息持久化 二、LazyQueue控制台配置Lazy模式代码配置Lazy模式更新已有队列为lazy模式 总结 前言 消息到达MQ以后&#xff0c;如果MQ不能及时保存&#xff0c;也会导致消息丢失&#xff0c;所以MQ的可靠性也非常重要。 一、…

将本地项目上传到gitee

本文详细介绍如何将本地项目上传到gitee 1.登录gitee创建一个与本地项目名相同的仓库 2.进入本地项目所在路径&#xff0c;打开Git Bash 3.执行初始化命令 git init4.添加远程仓库 4.1 点击复制你的HTTPS仓库路径 4.2 执行添加远程仓库命令 git remote add origin 你的…

Vue常见的实现tab切换的两种方法

目录 方法一&#xff1a;事件绑定属性绑定 效果图 完整代码 方法二&#xff1a;属性绑定 动态组件 component标签 效果图 完整代码 方法一&#xff1a;事件绑定属性绑定 效果图 完整代码 <!DOCTYPE html> <html lang"en"> <head><meta c…

【中间件】消息队列中间件intro

中间件middleware 内容管理 introwhy use MQMQ实现漫谈主流消息队列QMQ IntroQMQ架构QMQ 存储模型 本文还是从理论层面分析消息队列中间件 cfeng现在处于理论分析阶段&#xff0c;以中间件例子&#xff0c;之前的blog对于中间件是从使用角度分享了相关的用法&#xff0c;现在就…

Vue框架学习笔记-Object.defineproperty函数

文章目录 前文提要Object.defineProperty作用Object.defineProperty参数使用例图getter&#xff0c;也就是get函数setter&#xff0c;也就是set函数 前文提要 本人仅做个人学习记录&#xff0c;如有错误&#xff0c;请多包涵 Object.defineProperty作用 当在js中声明了一个变…

在我国干独立游戏开发有多难?

游戏独立开发在中国&#xff0c;一直以来都是一条充满挑战的道路。尽管有着无限的激情和创意&#xff0c;但面对市场、资金、政策等多方面的困难&#xff0c;许多独立开发者在这条路上艰难前行。 首先&#xff0c;市场竞争激烈是中国游戏独立开发者面临的首要挑战。随着游戏产…

【Amazon】通过代理连接的方式导入 AWS EKS集群至KubeSphere主容器平台

文章目录 一、设置主集群方式一&#xff1a;使用 Web 控制台方式二&#xff1a;使用 Kubectl命令 二、在主集群中设置代理服务地址方式一&#xff1a;使用 Web 控制台方式二&#xff1a;使用 Kubectl命令 三、登录控制台验证四、准备成员集群方式一&#xff1a;使用 Web 控制台…