聊一聊Elasticsearch的索引的分片分配机制

1、什么是分片分配

分片分配是由ES主节点将索引分片移动到ES集群中各个节点上的过程。

该过程尽量保证,同一个索引的分片尽量分配到更多的节点上,以此来达到读写索引的时候可以利用更多硬件资源的效果。

在分配过程当中,也不能将某个主分片和它的副本分片分配到同一个节点上,或者将某个主分片的多个副本分片分配到同一个节点上。之所以这样是因为怕某个节点挂掉了会导致整个集群丢失数据。这里引申出以下一个问题:

如果某索引的副本分片数量大于集群中的节点数量,那多出来的副本分片会如何呢?

答案是:多出来的副本分片将无法得到分配,在集群中也将无法发挥任何作用。

2、分片分配的过程

本节将通过一个ES集群中节点数量的变化,来看下分片的分配情况。

  1. 场景一:假设在一个单节点的ES集群中,创建一个索引,该索引有3个主分片,每个主分片有一个副本分片。 在这里插入图片描述
    如上图:由于ES集群中只有一个节点(节点-0),所以索引的三个主分片(主分片-0、主分片-1、主分片-2)都被分配到了该节点上,而与这三个主分片对应的三个副本分片,则由于集群中无其他节点,使得它们没有得到分配。
  2. 场景二: 基于【场景一】我们在ES集群中再加一个新的节点(节点-1),此时ES集群中有2个节点,分别为:节点-0、节点-1。 在这里插入图片描述
    如上图:与3个主分片对应的副本分片(副本分片-0、副本分片-1、副本分片-2、)被分配到了新的节点(节点-1)上。
  3. 场景三: 还是基于【场景一】我们把S集群中有的节点增加为3个,分别为:节点-0、节点-1、节点-2。 在这里插入图片描述
    如上图:ES集群中每个节点上都有两个分片(达到了分片平衡),并且任一节点挂掉都不会导致数据的丢失。
  4. 场景四:试想如果节点的数量超过了分片的数量,即将【场景一】中的集群扩充到7个节点或者更多。
    在这里插入图片描述
    如上图:当ES集群中的节点数N达到了总分片数,继续增加节点的数量也无法提升该索引的读写性能(新增的节点上无可分配的索引分片,所以也就无法提供写服务和读服务了)。

3、分片分配的感知

基于上边介绍的【场景三】为例,我们再增加一个场景条件:「节点-0」和「节点-1」是分属于同在一台物理服务器(服务器A)上的两个不同虚拟机(虚拟机-0和虚拟机-1),而「节点-2」是另外一台物理服务器(服务器B)上的虚拟机(虚拟机-2),如下图所示:
在这里插入图片描述
我们来设想下如果「服务器A」挂掉了会怎么样?由于「主分片-0」和它的副本分片「副本分片-0」都在服务器A上,所以「服务器A」挂掉后会导致「主分片-0」上的数据丢失。

为了要解决这个问题,我们可以使用分片分配的感知,来人为对副本分片分配的位置进行干预。将ES集群中的节点进行区域划分,不允许副本分片被分配到它的主分片所属的区域内

使用分片分配感知后的结果如下图:
在这里插入图片描述
如上图:我们可以看到在同一个区域内,不允许主分片和它的副本分片同时存在,这样的话即使「节点-0」和「节点-1」都挂掉了,也不会出现数据丢失的问题。

4、分片分配的过滤

所谓的分片分配的过滤指的是:我们可以通过配置来指定分片分配的时候只能分配到某些节点上或不能分配到某些节点上。

当我们要从ES集群中删除某个节点的时候,在该节点被删除前,我可以使用分片分配过滤将该节点上的所有分片分配到其他节点上。

使用该功能有一个前提条件:为每一个节点设置一些属性,以便于设置过滤条件的时候将节点区分开来。例如,在某个节点的elasticsearch.yml中自定义一个state属性,如下:

node.attr.state: vip​​

5、参考文献

  • 《Elasticsearch数据搜索与分析实战》——王深湛

上一篇:《聊一聊Elasticsearch的基本原理与形成机制》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/59504.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)

Elasticsearch Java API Spring Boot集成 实战入门(基础篇) 一、初始Elasticseach1、什么是Elasticseach2、Elasticsearch生态2、Elasticsearch结构3、Elasticsearch核心概念4、Elasticsearch 实现全文检索的原理 二、Elasticsearch入门1、入门-环境安装…

文件操作:Xml转Excel

1 添加依赖 Spire.Xls.jar <dependency><groupId>e-iceblue</groupId><artifactId>spire.xls</artifactId><version>5.3.3</version></dependency>2 代码使用 package cctd.controller;import com.spire.xls.FileFormat; im…

物理验证Calibre LVS Debug案例之通过deleteEmptyModule解决LVS问题

上周帮助T12nm A55训练营学员debug一个Calibre LVS问题&#xff0c;小编觉得挺好的一个问题。这个问题之前没有遇到过&#xff0c;今天分享给大家。 数字IC后端先进工艺设计实现之TSMC 12nm 6Track工艺数字IC后端实现重点难点盘点 下图所示为Calibre LVS的报告。从报告中看到…

深度解析阿里的Sentinel

1、前言 这是《Spring Cloud 进阶》专栏的第五篇文章&#xff0c;这篇文章介绍一下阿里开源的流量防卫兵Sentinel&#xff0c;一款非常优秀的开源项目&#xff0c;经过近10年的双十一的考验&#xff0c;非常成熟的一款产品。 文章目录如下&#xff1a; 2、什么是sentinel&…

ReactPress系列—Next.js 的动态路由使用介绍

ReactPress Github项目地址&#xff1a;https://github.com/fecommunity/reactpress 欢迎提出宝贵的建议&#xff0c;感谢Star。 Next.js 的动态路由使用介绍 Next.js 是一个流行的 React 框架&#xff0c;支持服务端渲染、静态站点生成和动态路由等功能&#xff0c;极大地简化…

软件压力测试有多重要?北京软件测试公司有哪些?

软件压力测试是一种基本的质量保证行为&#xff0c;它是每个重要软件测试工作的一部分。压力测试是给软件不断加压&#xff0c;强制其在极限的情况下运行&#xff0c;观察它可以运行到何种程度&#xff0c;从而发现性能缺陷。 在数字化时代&#xff0c;用户对软件性能的要求越…

学习方法该升级了,‌AI时代的弯道超车:【心流学习法】行动与意识合一的巅峰进化

你是否曾感到内心如荒漠般干涸&#xff0c;面对浩瀚的知识海洋&#xff0c;热情逐渐消磨殆尽&#xff1f; 你是否渴望忘却时间的流逝&#xff0c;心无旁骛&#xff0c;与知识展开一场纯粹而深邃的对话&#xff1f; ​在AI时代&#xff0c;智能体处理数据、知识迭代的速率让人…

手边酒店多商户版V2源码独立部署_博纳软云

新版采用laraveluniapp开发&#xff0c;为更多平台小程序开发提供坚实可靠的底层架构基础。后台UI全部重写&#xff0c;兼容手机端管理。 全新架构、会员卡、钟点房、商城、点餐、商户独立管理

机器学习(二)——线性回归模型、多分类学习(附核心思想和Python实现源码)

目录 关于1. 基本形式2. 线性回归2.1 单变量线性回归2.2 多元线性回归2.2 对数线性回归 3. 对数几率回归4. 线性判别分析5. 多分类学习5.1 拆分策略 6. 类别不平衡问题X 案例代码X.1 源码X.2 数据集&#xff08;糖尿病数据集&#xff09;X.3 模型效果 关于 本文是基于西瓜书&a…

跳表原理笔记

课程地址 跳表是一种基于随机化的有序数据结构&#xff0c;它提出是为了赋予有序单链表以 O(logn) 的快速查找和插入的能力 创建 首先在头部创建一个 sentinel 节点&#xff0c;然后在 L1 层采用“抛硬币”的方式来决定 L0 层的指针是否增长到 L1 层 例如上图中&#xff0c;L…

wpf 制作丝滑Flyout浮出侧边栏Demo (Mahapps UI框架)

Flyout 属性 CloseButtonVisibility: 设置为 Collapsed&#xff0c;意味着关闭按钮不可见。TitleVisibility: 设置为 Collapsed&#xff0c;意味着标题不可见。IsPinned: 设置为 True&#xff0c;意味着这个 Flyout 会固定住&#xff0c;不会自动关闭。Opacity: 设置为 1&…

MySQL记录锁、间隙锁、临键锁(Next-Key Locks)详解

行级锁&#xff0c;每次操作锁住对应的行数据。锁定粒度最小&#xff0c;发生锁冲突的概率最低&#xff0c;并发度最高。 应用在InnoDB存储引擎中。InnoDB的数据是基于索引组织的&#xff0c;行锁是通过对索引上的索引项加锁来实现的&#xff0c;而不是对记录加的锁。 对于行…

GeoSever发布图层(保姆姬)

发布服务的具体步骤。 1. 安装 GeoServer 下载 GeoServer 安装包&#xff1a;GeoServer 官网按照安装说明进行安装&#xff0c;可以选择 Windows、Linux 或其他平台。 2. 启动 GeoServer 启动 GeoServer 通常通过访问 http://localhost:8080/geoserver 进行。默认用户名和密…

交易所开发:构建安全、高效、可靠的数字资产交易平台

随着数字资产的不断发展&#xff0c;数字货币交易所作为连接数字资产与现实世界的重要桥梁&#xff0c;逐渐成为全球金融市场的核心组成部分。无论是比特币、以太坊等主流加密货币&#xff0c;还是各种基于区块链的资产&#xff0c;都需要通过交易所进行交换和流通。因此&#…

了解分布式数据库系统中的CAP定理

在分布式数据库系统的设计和实现中&#xff0c;CAP定理是一个至关重要的概念。CAP定理&#xff0c;全称为一致性&#xff08;Consistency&#xff09;、可用性&#xff08;Availability&#xff09;和分区容忍性&#xff08;Partition tolerance&#xff09;定理&#xff0c;由…

HTB:Sense[WriteUP]

目录 连接至HTB服务器并启动靶机 1.What is the name of the webserver running on port 80 and 443 according to nmap? 使用nmap对靶机TCP端口进行开放扫描 2.What is the name of the application that presents a login screen on port 443? 使用浏览器访问靶机80端…

【LeetCode每日一题】——802.找到最终的安全状态

文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时空频度】九【代码实现】十【提交结果】 一【题目类别】 图 二【题目难度】 中等 三【题目编号】 802.找到最终的安全状态 四【题目描述】 有一个有…

stm32使用串口的轮询模式,实现数据的收发

------内容以b站博主keysking为原型&#xff0c;整理而来&#xff0c;用作个人学习记录。 首先在STM32CubeMX中配置 前期工作省略&#xff0c;只讲重点设置。 这里我配置的是USART2的模式。 会发现&#xff0c;PA2和PA3分别是TX与RX&#xff0c;在连接串口时需要TX对RX&…

C++上机实验|继承与派生编程练习

1.实验目的 (1) 掌握派生与继承的概念与使用方法 (2) 运用继承机制对现有的类进行重用。 (3) 掌握继承中的构造函数与析构函数的调用顺序, (4) 为派生类设计合适的构造函数初始化派生类。 (5) 深入理解继承与组合的区别。 2.实验内容 设计一个人员类 person 和一个日期类 da…

【STL_list 模拟】——打造属于自己的高效链表容器

一、list节点 ​ list是一个双向循环带头的链表&#xff0c;所以链表节点结构如下&#xff1a; template<class T>struct ListNode{T val;ListNode* next;ListNode* prve;ListNode(int x){val x;next prve this;}};二、list迭代器 2.1、list迭代器与vector迭代器区别…