【Elasticsearch】Elasticsearch 中的节点角色

Elasticsearch 中的节点角色

  • 1.主节点(master)
    • 1.1 专用候选主节点(dedicated master-eligible node)
    • 1.2 仅投票主节点(voting-only master-eligible node)
  • 2.数据节点(data)
    • 2.1 内容数据节点(data_content)
    • 2.2 热数据节点(data_hot)
    • 2.3 温数据节点(data_warm)
    • 2.4 冷数据节点(data_cold)
    • 2.5 冷冻数据节点(data_frozen)
  • 3.ingest 节点
  • 4.仅协调节点
  • 5.远程节点(remote_cluster_client)
  • 6.机器学习节点(ml)
  • 7.转换节点(transform)
  • 8.节点角色和硬件配置的关系

Elasticsearch 7.9 版本开始引入 节点角色 的概念。

在 Elasticsearch 8.X 版本中,节点类型 升级为 节点角色。节点角色分得很细,包括 数据节点 角色、主节点 角色、ingest 节点 角色、热节点 角色等。

在这里插入图片描述

在 Elasticsearch 集群中,每个启动的 Elasticsearch 进程都可以叫作一个节点。以 Elasticsearch 8.X 版本集群为例,如果我们不手动设置节点角色,则默认节点角色为 cdfhilmrstw

在这里插入图片描述

节点角色缩写英文释义中文释义
ccold data node冷数据节点
ddata node数据节点
ffrozen data node冷冻数据节点
hhot data node热数据节点
iingest node数据预处理节点
lmachine learning node机器学习节点
mmaster-eligible node候选主节点
rremote cluster client node远程节点
scontent data node内容数据节点
ttransform node转换节点
wwarm data node温数据节点
/coordinating only node仅协调节点

当集群规模比较大之后(比如集群节点数大于 6 个),就需要手动设定、配置节点角色。

1.主节点(master)

主节点 在 Elasticsearch 集群中的关键作用主要体现在全局级别的管理上。例如,主节点负责管理 索引的创建或删除操作监控哪些节点是集群的成员,以及 确定将哪些分片分配给哪些节点。这种决策和管理的能力使主节点在维持整个集群稳定运行中扮演了重要角色。

此外,主节点还负责 存储重要的元数据,包括集群中每个索引的元数据和集群级别的元数据。特别地,主节点的 path.data 目录用于存放这些集群元数据信息,这是主节点不可或缺的功能。

因此,为了确保集群的稳定运行和有效管理,需要特别注意主节点的配置和维护。

拥有稳定的主节点对于集群健康非常重要。与早期版本不同,节点角色划分后,主节点又被细分为专用 候选主节点仅投票主节点

1.1 专用候选主节点(dedicated master-eligible node)

如果集群规模大、节点多,那么就有必要设置独立的 专用候选主节点,其配置如下。

node.roles: [ master ]

1.2 仅投票主节点(voting-only master-eligible node)

这类节点仅用于投票,它们不会被选为主节点。其硬件配置可以比专用候选主节点更低一些。仅投票主节点 的配置如下,其中 master 必不可少。

node.roles: [ master, voting only ]

🚀 关于集群主节点配置,要强调一点:高可用性集群 需要至少 3 个符合主节点资格的节点,其中至少两个不是仅投票节点。这样即使其中一个节点发生故障,该集群也能够选举出一个主节点。

2.数据节点(data)

数据节点 会在 Elasticsearch 集群中执行关键任务,包括 保存数据到硬盘或其他永久性存储设备上(通常称为 落地存储),以及执行各种数据处理操作(如数据添加、删除、修改、查询、搜索和聚合等)。

由于数据节点的功能包括对大量数据进行处理和保存,它们对硬件配置的需求相对较高,特别是对 CPU、内存和磁盘的需求。为了确保数据节点有效地处理这些任务并响应查询请求,我们需要在硬件配置上提供足够的资源。而选择性能强大的 CPU 以及提供充足的内存和磁盘空间,是确保数据处理效率和稳定性的关键。

使用专用数据节点的好处在于可以 让主节点和数据节点分离、各司其职

数据节点存储的内容如下:

  • 分片数据。
  • 每个分片对应的元数据。
  • 集群层面的元数据,如 setting 和索引模板。

数据节点的配置如下:

node.roles: [ data ]

在 Elasticsearch 多层冷热集群架构体系下,数据节点又可以细分如下。

  • 内容数据节点
  • 热数据节点
  • 温数据节点
  • 冷数据节点
  • 冷冻数据节点

2.1 内容数据节点(data_content)

内容数据节点 是一个节点角色,用于 指定具体的负责存储和搜索数据的节点。这个角色的主要功能是 处理和查询数据,包括文本、数字和地理位置等类型的数据。其具体职责如下:

  • 存储数据:将数据分片存储在节点上。
  • 搜索数据:处理来自客户端的搜索请求,并在本地分片中搜索数据。
  • 索引数据:对新数据进行索引操作,以便进行搜索和查询。
node.roles: [data_content]

2.2 热数据节点(data_hot)

热数据节点 的用途主要是保存 最近、最常访问 的热数据,即经常被访问和更新的数据。在数据生命周期的早期,数据通常处于活跃状态,会频繁读写。热数据节点通常配置在高性能硬件上,例如高速 SSD 存储和高性能 CPU。

node.roles: [data_hot]

2.3 温数据节点(data_warm)

温数据节点 的用途主要是保存 访问频次低很少更新 的时序数据。

node.roles: [data_warm]

2.4 冷数据节点(data_cold)

冷数据节点 的用途主要是保存 不经常访问通常不更新 的时序数据,可用于存储可搜索快照。

node.roles: [data_cold]

2.5 冷冻数据节点(data_frozen)

冷冻数据节点 的用途主要是保存 很少访问从不更新 的时序数据。

node.roles: [data_frozen]

注意 ⚠

  • 🚀 在配置节点角色时,data_hotdata_warmdata_cold 要和 data_content 一起配置而不要和原有的仅 data 节点角色一起配置了。
  • 🚀 如果仅设置 data_hot 而不设置 data_content 节点角色,则会导致集群数据写入后无法落地。
  • 🚀 data_hotdata_warmdata_cold 节点角色是标识性的角色,而数据实际落地存储还得靠 data_content 角色。

3.ingest 节点

这类节点通常 执行由预处理管道组成的预处理任务,后面会专门详细解读 ingest 数据预处理过程。

node.roles: [ ingest ]

4.仅协调节点

这类节点的作用类似于智能负载均衡器,负责路由分发请求、聚拢(或叫作收集,可理解为分发的反过程)搜索或聚合结果

配置为空则代表仅协调节点,如下所示。

node.roles: [ ]

5.远程节点(remote_cluster_client)

这类节点用于 跨集群检索跨集群复制

node.roles: [ remote_cluster_client ]

6.机器学习节点(ml)

机器学习节点 是一类特殊类型的节点,它专门用于运行机器学习功能。它们负责运行数据分析任务,如异常检测、预测和回归等。这类节点的功能是收费的,Elasticsearch 开源版本并不提供。

node.roles: [ ml, remote_cluster_client ]

7.转换节点(transform)

转换节点 是一个特殊类型的节点,负责执行数据转换任务。数据转换是指将数据从种格式或结构转换为另一种格式或结构的过程。在 Elasticsearch 中,这通常涉及对原始数据创建新的索引,并对新索引中的数据进行汇总、分组或其他转换操作,以便更有效地行分析和查询。

node.roles: [ transform, remote_cluster_client ]

8.节点角色和硬件配置的关系

角色描述存储内存计算网络
数据节点存储和检索数据极高
主节点管理集群状态
ingest 节点转换输入数据
机器学习节点机器学习极高极高
协调节点请求转发和合并检索结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/47185.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OCC 创建点线面体

目录 一、利用封装已有算法实现 1、盒子建模算法封装 2、可视化 二、利用OCC 点线面实现 1、实现过程 2、实现一个面 3、拉伸面生成体 4、旋转面生成体 三、总结 一、利用封装已有算法实现 1、盒子建模算法封装 BRepPrimAPI_MakeBox box(2, 2, 2); 2、可视化 void VTK…

SSM之Mybatis

SSM之Mybatis 一、MyBatis简介1、MyBatis特性2、MyBatis的下载3、MyBatis和其他持久化层技术对比 二、MyBatis框架搭建三、MyBatis基础功能1、MyBatis核心配置文件2、MyBatis映射文件3、MyBatis实现增删改查4、MyBatis获取参数值的两种方式5、MyBatis查询功能6、MyBatis自定义映…

如何判断自己的数据格式适合使用json还是Excel的形式存入neo4j数据库

判断自己的数据格式适合使用JSON还是Excel的形式存入Neo4j数据库,主要取决于数据的复杂性、规模、结构、以及你或你的团队对这两种格式的熟悉程度。以下是一些关键因素,可以帮助你做出决策: 数据的复杂性: 如果你的数据包含大量的…

【python】OpenCV—Shape Detection

文章目录 1、需求描述2、代码实现3、涉及到的库函数cv2.arcLengthcv2.approxPolyDP 4、案例5、参考 1、需求描述 给出图像,找出其轮廓,近似确认其为几变形图像 输入 输出 2、代码实现 # 导入必要的包 import cv2 import argparse import imutils imp…

3.1、matlab双目相机标定实验

1、双目相机标定原理及流程 双目相机标定是将双目相机系统的内外参数计算出来,从而实现双目视觉中的立体测量和深度感知。标定的目的是确定各个摄像头的内部参数(如焦距、主点、畸变等)和外部参数(如相机位置、朝向等&#xff09…

SVN分支管理基本原理

原文全文详见个人博客: SVN分支管理基本原理学习完svn和git的版本管理理念上的差异后,自然的我们再进一步对比svn和git在分支管理上的原理差异,这种差异正是由二者版本管理理念和存储方式差异造成的,今天我们先研究一下svn的分支…

ICMP 和 IGMP 的区别

ICMP 和 IGMP 协议 IP 层分支图 ICMP(Internet Control Message Protocol,因特网控制信息协议) 用于补充 IP 传输数据报的过程中,发送主机无法确定数据报是否到达目标主机。 ICMP 报文分为出错报告报文和查询报文两种。 若数据…

昇思25天学习打卡营第11天|基于 MindSpore 实现 BERT 对话情绪识别

BERT是一种先进的语言模型,由Google在2018年推出。它通过双向编码器Transformer的Encoder部分,捕捉词语和句子的深层含义。BERT的创新之处在于其预训练方法,特别是Masked Language Model和Next Sentence Prediction,这使得它在问答…

spring boot(学习笔记第十四课)

spring boot(学习笔记第十四课) Spring Security的密码加密,基于数据库认证 学习内容: Spring Security的密码加密基于数据库认证 1. Spring Security的密码加密 如果用户的密码保存在数据库中是以明文保存,对于公司的安全将是灾难性的&…

基于上下文自适应可变长熵编码 CAVLC 原理详细分析

CAVLC CAVLC,即Context-Adaptive Variable-Length Coding,是一种用于视频压缩的编码技术,特别是在MPEG-4视频编码标准中使用。CAVLC是一种熵编码方法,它根据视频数据的上下文信息来调整编码长度,以实现更有效的数据压…

【LeetCode:35. 搜索插入位置 + 二分】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…

Linux systemd 服务启动失败Main process exited, code=exited, status=203/EXEC

文章目录 问题描述解决思路及方法排除方向一:nohup排除方向二:使用绝对路径而不是相对路径 问题描述 命令: java -Xms1024m -Xmx1024m -jar /usr/local/java/bin/mashang/app.jar --server.port8532 ----spring.profiles.activetest是可以直…

【Vue】重新理解Vue-Router中的两种路由模式

历史小剧场 唐代实在太高太强了,他们忽忘了民族界限,他们不懂害怕外国人,不懂提防外国人,大量使用外国人当兵作将,结果才弄得不可收拾。于是唐代的府兵一变而成为“藩镇”,军阀割据,胡族临制。-…

uni-app:踩坑路---scroll-view内使用fixed定位,无效的问题

前言: emmm,说起来这个问题整得还挺好笑的,本人在公司内,奋笔疾书写代码,愉快的提交测试的时候,测试跟我说,在苹果手机上你这个样式有bug,我倒是要看看,是什么bug。 安卓…

vscode 远程 Ubuntu 系统

1、在 Ubuntu 下检查 sshd 守护进程是否开启 ps -aux | grep sshd如果没有开启,请在 Ubuntu 下输入指令安装 sudo apt-get install openssh-server2、首先打开 Windows 下的 vscode,点击左下角图标打开远程窗口 3、打开远程窗口,选择“Con…

【HZHY-AI300G智能盒试用连载体验】在华为IoTDA平台上建立设备

目录 华为IoTDA平台 注册IoTDA实例 创建产品 添加设备 本文首发于:【HZHY-AI300G智能盒试用连载体验】 智能工业互联网网关 - 北京合众恒跃科技有限公司 - 电子技术论坛 - 广受欢迎的专业电子论坛! 在上一篇博文中介绍了如何在HZHY-AI300G智能盒创建南向设备&a…

前端特效动画魔法书:文字渐入效果实现,可做引导页面

前端特效动画魔法书:文字渐入效果实现,可做引导页面 简介 在网页设计的世界中,动画是吸引用户眼球的魔法。Anime.js,一个轻量级且功能强大的JavaScript动画库,是实现这一魔法的完美工具。本文将作为你的技术文档&…

【3D编程技巧】如何用四元数旋转矢量在相机空间进行光照计算

这里介绍一个小TIPS,很久没有这么有成就感了。我以前在学3D数学的时候,书上就有一句话,说你把矢量这些东西用久了,就应该形成一种“直觉”,仿佛这些东西就是你的左右手一样。而这次,我居然真的用“直觉”来…

【开源库学习】libodb库学习(三)

4 查询数据库 如果我们不知道我们正在寻找的对象的标识符,我们可以使用查询在数据库中搜索符合特定条件的对象。ODB查询功能是可选的,我们需要使用--generate-query ODB编译器选项显式请求生成必要的数据库支持代码。 ODB提供了一个灵活的查询API&#x…

复现Android中GridView的bug并解决

几年前的一个bug,GridView的item高度不一致。如下图: 复现bug的代码: import android.os.Bundle; import android.widget.BaseAdapter; import android.widget.GridView; import androidx.appcompat.app.AppCompatActivity; import java.uti…