大数据基础设施搭建 - Doris

文章目录

  • 一、Linux系统要求
    • 1.1 设置系统最大打开文件句柄数
    • 1.2 设置最大虚拟块的大小
    • 1.3 集群中其他安装doris的机器同上调整
    • 1.4 重启服务器生效
  • 二、确认需要下载哪个Doris版本
  • 三、上传并解压压缩包
    • 3.1 创建目录
    • 3.2 解压fe
    • 3.3 解压be
    • 3.4 解压java udf函数
      • 3.4.1 解压
      • 3.4.2 复制udf包到be
  • 四、配置FE
    • 4.1 修改配置fe.conf
    • 4.2 启动/关闭FE
    • 4.3 WEB访问测试
  • 五、配置BE
    • 5.1 修改配置be.conf
    • 5.2 创建目录
    • 5.3 分发BE
    • 5.4 配置其他节点的BE
      • 5.4.1 配置be.conf的ip
      • 5.4.2 创建目录
  • 六、添加BE
    • 6.1 使用mysql客户端连接到FE
    • 6.2 设定密码
    • 6.3 添加BE
    • 6.4 启动/关闭BE
  • 七、测试
    • 7.1 创建库
    • 7.2 创建表
    • 7.3 插入数据

一、Linux系统要求

1.1 设置系统最大打开文件句柄数

注意这里的*不要去掉

[hadoop@hadoop102 ~]$ sudo vim /etc/security/limits.conf

内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 131072
* hard nproc 131072

1.2 设置最大虚拟块的大小

[hadoop@hadoop102 ~]$ sudo vim /etc/sysctl.conf

新增内容:

vm.max_map_count=2000000

1.3 集群中其他安装doris的机器同上调整

1.4 重启服务器生效

二、确认需要下载哪个Doris版本

下载地址:https://doris.apache.org/download/
执行下列命令,能查出记录的下载avx2版本,否则下载noavx2版本

cat /proc/cpuinfo | grep avx2

三、上传并解压压缩包

3.1 创建目录

[hadoop@hadoop102 ~]$ mkdir -p /opt/module/doris

3.2 解压fe

[hadoop@hadoop102 software]$ tar -xvf apache-doris-fe-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.3 解压be

[hadoop@hadoop102 software]$ tar -xvf apache-doris-be-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4 解压java udf函数

3.4.1 解压

[hadoop@hadoop102 software]$ tar -xvf apache-doris-dependencies-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4.2 复制udf包到be

[hadoop@hadoop102 ~]$ cp /opt/module/doris/apache-doris-dependencies-1.2.4.1-bin-x86_64/java-udf-jar-with-dependencies.jar /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/lib/

四、配置FE

4.1 修改配置fe.conf

vim /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/conf/fe.conf

修改内容:

# web 页面访问端口
http_port = 7030
# 配置文件中指定元数据路径:默认在 fe 的根目录下,可以不配
# meta_dir = /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/doris-meta
# 修改绑定 ip
priority_networks = 172.28.76.203/24

注意:priority_networks配置依据,执行命令 ip a查询子网网段

在这里插入图片描述

4.2 启动/关闭FE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/start_fe.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/stop_fe.sh

4.3 WEB访问测试

http://hadoop102:7030
用户名:root
密码:无

五、配置BE

5.1 修改配置be.conf

vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf

修改内容:

# 不配置存储目录, 则会使用默认的存储目录
webserver_port = 7040 
priority_networks = 172.28.76.203/24
storage_root_path = /opt/module/doris/doris-storage1;/opt/module/doris/doris-storage2.SSD,10

5.2 创建目录

注意:存储目录必须手动提前创建

[hadoop@hadoop102 ~]$ cd /opt/module/doris/
[hadoop@hadoop102 doris]$ mkdir doris-storage1
[hadoop@hadoop102 doris]$ mkdir doris-storage2.SSD

5.3 分发BE

分发到需要安装BE的节点

[hadoop@hadoop102 doris]$ mytools_rsync apache-doris-be-1.2.4.1-bin-x86_64/

5.4 配置其他节点的BE

5.4.1 配置be.conf的ip

[hadoop@hadoop103 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.204/24
[hadoop@hadoop104 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.205/24

5.4.2 创建目录

# hadoop103
[hadoop@hadoop103 ~]$ cd /opt/module/doris/
[hadoop@hadoop103 doris]$ mkdir doris-storage1
[hadoop@hadoop103 doris]$ mkdir doris-storage2.SSD# hadoop104
[hadoop@hadoop104 ~]$ cd /opt/module/doris/
[hadoop@hadoop104 doris]$ mkdir doris-storage1
[hadoop@hadoop104 doris]$ mkdir doris-storage2.SSD

六、添加BE

目的:将be和fe连接起来
需要使用mysql客户端连接doris

6.1 使用mysql客户端连接到FE

[mall@mall ~]$ mysql -hhadoop102 -P9030 -uroot

6.2 设定密码

mysql> SET PASSWORD FOR 'root' = PASSWORD('aaaaaa');

6.3 添加BE

mysql> 
ALTER SYSTEM ADD BACKEND "hadoop102:9050";
ALTER SYSTEM ADD BACKEND "hadoop103:9050";
ALTER SYSTEM ADD BACKEND "hadoop104:9050";

6.4 启动/关闭BE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh

七、测试

7.1 创建库

create database test_db;
use test_db;

7.2 创建表

7.3 插入数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/743589.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

金航标kinghelm宋仕强先生说,“金航标,连接世界

金航标kinghelm宋仕强先生说,“金航标,连接世界”。连接器的作用是为两个电路子系统提供一个可分离的界面,一方面使得零部件或子系统的维护或升级不必修改整个系统;另一方面提高了零部件的便携性、外围设备的拓展能力,…

搭建个人智能家居 3 -第一个设备“点灯”

搭建个人智能家居 3 -第一个外设“点灯” 前言ESPHome点灯 HomeAssistant 前言 前面我们已经完成了搭建这个智能家居所需要的环境HomeAssistant和ESPHome,今天我们开始在这个智能家居中添加我们的第一个设备(一颗LED灯),如果环境…

Qt 如何搭建Lua的运行环境

一、Lua简介 Lua 是一种强大的、高效的、轻量级的、可嵌入的脚本语言。它支持过程(procedural)编程、面向对象编程、函数式编程以及数据描述。Lua 是动态类型的,运行速度快,支持自动内存管理,因此被广泛用于配置、脚本…

使用OCC进行旋转扫掠

旋转扫掠是将物体以某一个坐标轴为参照,按照指定的角度旋转生成新的图形的过程 这里使用面的案例,使用线的逻辑处理其实是一样的 //构造旋转轴 gp_Ax1 anAxis; //设置轴的原点 anAxis.SetLocation(0,0,0); //设置轴的方向 anAxis.SetDirection(gp_Dir(0…

Docker与Nacos的下载与安装配置

文章目录 docker作用docker的下载nacos 下载1. 首先搜索需要的下载2. 拉取stars最多的即可3. 启动nacos4. 打开防火墙8848端口5. 访问nacos docker 作用 Docker 是一种开源的容器化平台,它的作用主要包括以下几个方面: 应用程序的打包和分发&#xff1…

【软考高项】五、信息化发展之数字化转型与元宇宙

1、数字化转型 定义:数字化转换、数字化升级基础上,对其业务进行系统性、彻底的(或重大和完全的)重新定义。 驱动因素: 生产力飞升:第四次科技革命:第一科学范式为经验范式,第二科学范式为理论范式。第三…

Java高级编程—泛型

文章目录 1.为什么要有泛型 (Generic)1.1 泛型的概念1.2 使用泛型后的好处 2.在集合中使用泛型3.自定义泛型结构3.1 自定义泛型类、泛型接口3.2 自定义泛型方法 4.泛型在继承上的体现5.通配符的使用5.1 基本使用5.2 有限制的通配符的使用 1.为什么要有泛型 (Generic) Java中的…

win11 ubuntu子系统 开代理 调试 openai 接口

我的是laravel项目,步骤如下 步骤1:配置WSL以使用代理 首先,确保WSL中的所有请求都通过你的代理服务器。你可以通过在WSL的shell配置文件(如~/.bashrc或~/.zshrc)中设置环境变量来实现。打开终端,编辑对应…

数据结构知识点总结00-知识点目录

专栏主页: 数据结构算法程序设计基础C语言知识点总结https://blog.csdn.net/seeker1994/category_12585732.html C语言知识点总结00-C语言知识点目录 最优算法100例00-最优算法100例目录 ...... 数据结构知识点目录 要求: (1&#xff…

08.JavaScript中的编程思想,构造函数和原型对象

一、编程思想 学习 JavaScript 中基于原型的面向对象编程序的语法实现,理解面向对象编程的特征。 1.面向过程 面向过程就是分析出解决问题所需要的步骤,然后用函数把这些步骤一步一步实现,使用的时候再一个一个的依次 调用就可以了。 举个…

小明的背包——01背包问题

经典版 题目链接:1.小明的背包1 - 蓝桥云课 (lanqiao.cn) 01背包问题中,每种物品只有两种状态,即拿或不拿。设状态dp[i][j]max(dp[i-1][j],dp[i-1][j-w]v);如果不拿物品i,那么最大价值就是dp[i-1][j],如果…

探索Java高并发编程之道:理论与实践

💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 简介 随着互联网和信息技术的快速发展&#x…

【2024 R1 版本更新】Ansys Fluent(上)

​​Ansys2024R1来了,小宇赶紧将新功能给大家汇报一下。GPU求解器功能势头最强,pyFluent又开始迭代了,CPU模型中又更新了很多功能,fluent meshing中的thin volume mesh功能也来了。

libusb_Qt使用

Libusb libusb_github 建议直接下载库,编译好麻烦 QT调用 .pro文件添加: win32: LIBS -L$$PWD/LIB/libusb/x64/ -llibusb-1.0.cpp调用即可 #include "LIB/libusb/libusb.h" void class_name::fun(){/* 1. */libusb_init(NULL);/**/str…

mockjs学习

1.前言 最近面试发现之前团队协同合作的项目没有mock数据难以向面试官直接展示,所以迟到得来速学一下mockjs。 参考视频:mockJs 妈妈再也不用担心我没有后端接口啦_哔哩哔哩_bilibili 一开始查阅了一些资料,先是看了下EasyMock&#xff0c…

环保企业应适应行业发展趋势,不断创新和提升竞争力|中联环保圈

《2023年行业评述及2024年发展展望》一文,由中国环保产业协会撰写,全面审视了过去一年我国生态环保产业的发展状况,并对新的一年发展趋势进行了深度预测。该报告以行业主要政策标准为基础,结合报告以及新冠疫情防控转段后的经济恢…

Cocos2dx-lua ScrollView[二]进阶篇

一.概述 本文缩写说明:sv = ScrollView, item代表ScrollView的一个子节点 如果对sv熟系程度还不够,请阅读基础篇: Cocos2dx-lua ScrollView[一]基础篇-CSDN博客 本文介绍sv的一种封装类库,来实现快速创建sv,有如下几个优点: 1.item的位置通过参数控制,提高开发效率…

使用Java自带的VisualVM监控远程服务器部署在Docker容器中的Java项目并使用Mat在线工具排查服务器内存泄露或内存溢出的原因

事情是这样的,我们项目最近应业主的要求迁移到了新的服务器,起初一切正常,部署、上线、测试都没有问题,项目大概运行了一周的工作日时间都没出现问题,直到周六那天,项目经理打电话过来说服务器崩了&#xf…

鼠标不动了怎么办?4招帮你解决问题!

“我在使用鼠标时,用着用着鼠标就动不了了,这是为什么呢?怎么才能让鼠标恢复正常呢?” 鼠标作为电脑使用中最常用的输入设备之一,其正常运行对于我们的工作效率至关重要。然而,有时我们可能会遇到鼠标突然不…

深入学习React开发:从基础到实战

💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 引言 React是一款流行的JavaScript库&#xf…