聊一聊Elasticsearch的索引的分片分配机制

1、什么是分片分配

分片分配是由ES主节点将索引分片移动到ES集群中各个节点上的过程。

该过程尽量保证,同一个索引的分片尽量分配到更多的节点上,以此来达到读写索引的时候可以利用更多硬件资源的效果。

在分配过程当中,也不能将某个主分片和它的副本分片分配到同一个节点上,或者将某个主分片的多个副本分片分配到同一个节点上。之所以这样是因为怕某个节点挂掉了会导致整个集群丢失数据。这里引申出以下一个问题:

如果某索引的副本分片数量大于集群中的节点数量,那多出来的副本分片会如何呢?

答案是:多出来的副本分片将无法得到分配,在集群中也将无法发挥任何作用。

2、分片分配的过程

本节将通过一个ES集群中节点数量的变化,来看下分片的分配情况。

  1. 场景一:假设在一个单节点的ES集群中,创建一个索引,该索引有3个主分片,每个主分片有一个副本分片。 在这里插入图片描述
    如上图:由于ES集群中只有一个节点(节点-0),所以索引的三个主分片(主分片-0、主分片-1、主分片-2)都被分配到了该节点上,而与这三个主分片对应的三个副本分片,则由于集群中无其他节点,使得它们没有得到分配。
  2. 场景二: 基于【场景一】我们在ES集群中再加一个新的节点(节点-1),此时ES集群中有2个节点,分别为:节点-0、节点-1。 在这里插入图片描述
    如上图:与3个主分片对应的副本分片(副本分片-0、副本分片-1、副本分片-2、)被分配到了新的节点(节点-1)上。
  3. 场景三: 还是基于【场景一】我们把S集群中有的节点增加为3个,分别为:节点-0、节点-1、节点-2。 在这里插入图片描述
    如上图:ES集群中每个节点上都有两个分片(达到了分片平衡),并且任一节点挂掉都不会导致数据的丢失。
  4. 场景四:试想如果节点的数量超过了分片的数量,即将【场景一】中的集群扩充到7个节点或者更多。
    在这里插入图片描述
    如上图:当ES集群中的节点数N达到了总分片数,继续增加节点的数量也无法提升该索引的读写性能(新增的节点上无可分配的索引分片,所以也就无法提供写服务和读服务了)。

3、分片分配的感知

基于上边介绍的【场景三】为例,我们再增加一个场景条件:「节点-0」和「节点-1」是分属于同在一台物理服务器(服务器A)上的两个不同虚拟机(虚拟机-0和虚拟机-1),而「节点-2」是另外一台物理服务器(服务器B)上的虚拟机(虚拟机-2),如下图所示:
在这里插入图片描述
我们来设想下如果「服务器A」挂掉了会怎么样?由于「主分片-0」和它的副本分片「副本分片-0」都在服务器A上,所以「服务器A」挂掉后会导致「主分片-0」上的数据丢失。

为了要解决这个问题,我们可以使用分片分配的感知,来人为对副本分片分配的位置进行干预。将ES集群中的节点进行区域划分,不允许副本分片被分配到它的主分片所属的区域内

使用分片分配感知后的结果如下图:
在这里插入图片描述
如上图:我们可以看到在同一个区域内,不允许主分片和它的副本分片同时存在,这样的话即使「节点-0」和「节点-1」都挂掉了,也不会出现数据丢失的问题。

4、分片分配的过滤

所谓的分片分配的过滤指的是:我们可以通过配置来指定分片分配的时候只能分配到某些节点上或不能分配到某些节点上。

当我们要从ES集群中删除某个节点的时候,在该节点被删除前,我可以使用分片分配过滤将该节点上的所有分片分配到其他节点上。

使用该功能有一个前提条件:为每一个节点设置一些属性,以便于设置过滤条件的时候将节点区分开来。例如,在某个节点的elasticsearch.yml中自定义一个state属性,如下:

node.attr.state: vip​​

5、参考文献

  • 《Elasticsearch数据搜索与分析实战》——王深湛

上一篇:《聊一聊Elasticsearch的基本原理与形成机制》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/59504.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)

Elasticsearch Java API Spring Boot集成 实战入门(基础篇) 一、初始Elasticseach1、什么是Elasticseach2、Elasticsearch生态2、Elasticsearch结构3、Elasticsearch核心概念4、Elasticsearch 实现全文检索的原理 二、Elasticsearch入门1、入门-环境安装…

如何在 Spring Boot 中实现多数据源的事务管理?

在 Spring Boot 中实现多数据源的事务管理可以通过以下几种方式: 一、使用编程式事务管理 配置多个数据源 如同前面提到的,在 application.properties 或 application.yml 文件中配置多个数据源的连接信息,并创建对应的数据源 bean。 手动开启…

文件操作:Xml转Excel

1 添加依赖 Spire.Xls.jar <dependency><groupId>e-iceblue</groupId><artifactId>spire.xls</artifactId><version>5.3.3</version></dependency>2 代码使用 package cctd.controller;import com.spire.xls.FileFormat; im…

物理验证Calibre LVS Debug案例之通过deleteEmptyModule解决LVS问题

上周帮助T12nm A55训练营学员debug一个Calibre LVS问题&#xff0c;小编觉得挺好的一个问题。这个问题之前没有遇到过&#xff0c;今天分享给大家。 数字IC后端先进工艺设计实现之TSMC 12nm 6Track工艺数字IC后端实现重点难点盘点 下图所示为Calibre LVS的报告。从报告中看到…

深度解析阿里的Sentinel

1、前言 这是《Spring Cloud 进阶》专栏的第五篇文章&#xff0c;这篇文章介绍一下阿里开源的流量防卫兵Sentinel&#xff0c;一款非常优秀的开源项目&#xff0c;经过近10年的双十一的考验&#xff0c;非常成熟的一款产品。 文章目录如下&#xff1a; 2、什么是sentinel&…

ReactPress系列—Next.js 的动态路由使用介绍

ReactPress Github项目地址&#xff1a;https://github.com/fecommunity/reactpress 欢迎提出宝贵的建议&#xff0c;感谢Star。 Next.js 的动态路由使用介绍 Next.js 是一个流行的 React 框架&#xff0c;支持服务端渲染、静态站点生成和动态路由等功能&#xff0c;极大地简化…

arm架构部署nexus配置sslcontainerd

背景 合作伙伴私有云的机器架构是arm的&#xff0c;使用registry做为镜像仓库&#xff0c;可以满足基础功能&#xff0c;权限管理等功能无法实现。借鉴现有的架构部署nexus来满足权限管理等需求 思路 翻看dockerhub上没看到有编译好的arm架构的nexus&#xff0c;从github找到…

软件压力测试有多重要?北京软件测试公司有哪些?

软件压力测试是一种基本的质量保证行为&#xff0c;它是每个重要软件测试工作的一部分。压力测试是给软件不断加压&#xff0c;强制其在极限的情况下运行&#xff0c;观察它可以运行到何种程度&#xff0c;从而发现性能缺陷。 在数字化时代&#xff0c;用户对软件性能的要求越…

git 多账号配置

windows下git多账号配置详解_git配置多个用户名和密码-CSDN博客 windows下git多账号配置详解_git配置多个用户名和密码-CSDN博客 windows下git多账号配置详解_git配置多个用户名和密码-CSDN博客

学习方法该升级了,‌AI时代的弯道超车:【心流学习法】行动与意识合一的巅峰进化

你是否曾感到内心如荒漠般干涸&#xff0c;面对浩瀚的知识海洋&#xff0c;热情逐渐消磨殆尽&#xff1f; 你是否渴望忘却时间的流逝&#xff0c;心无旁骛&#xff0c;与知识展开一场纯粹而深邃的对话&#xff1f; ​在AI时代&#xff0c;智能体处理数据、知识迭代的速率让人…

手边酒店多商户版V2源码独立部署_博纳软云

新版采用laraveluniapp开发&#xff0c;为更多平台小程序开发提供坚实可靠的底层架构基础。后台UI全部重写&#xff0c;兼容手机端管理。 全新架构、会员卡、钟点房、商城、点餐、商户独立管理

Vue 3 生命周期钩子详解(setup语法糖示例)

Vue 3 生命周期钩子详解&#xff08;setup语法糖示例&#xff09; 在Vue 3的框架下&#xff0c;生命周期钩子函数得到了全面的革新&#xff0c;并被巧妙地融入了setup函数中。这些钩子函数在组件实例的生命周期的不同阶段发挥着至关重要的作用。接下来&#xff0c;我们将探讨V…

neo4j浅析

一、py2neo 1.基本范式&#xff08;连接数据库&#xff09; from py2neo import Graph """ host:服务器ip地址&#xff0c;默认为localhost http_port:http协议——服务器监听端口&#xff0c;默认7474 https_port:https协议——服务器监听端口&#xff0c;默…

verilog-HDL

目录 用户自定义元件 层次化设计方法 模块例化方法 生成语句 用户自定义元件 Verilog HDL定义的基元都具有固定的功能。为了应用方便&#xff0c;Verilog还支持用户自定义原语&#xff08;User-Defined Primitive&#xff0c;简称UDP&#xff09;&#xff0c;即允许设计者根据…

机器学习(二)——线性回归模型、多分类学习(附核心思想和Python实现源码)

目录 关于1. 基本形式2. 线性回归2.1 单变量线性回归2.2 多元线性回归2.2 对数线性回归 3. 对数几率回归4. 线性判别分析5. 多分类学习5.1 拆分策略 6. 类别不平衡问题X 案例代码X.1 源码X.2 数据集&#xff08;糖尿病数据集&#xff09;X.3 模型效果 关于 本文是基于西瓜书&a…

跳表原理笔记

课程地址 跳表是一种基于随机化的有序数据结构&#xff0c;它提出是为了赋予有序单链表以 O(logn) 的快速查找和插入的能力 创建 首先在头部创建一个 sentinel 节点&#xff0c;然后在 L1 层采用“抛硬币”的方式来决定 L0 层的指针是否增长到 L1 层 例如上图中&#xff0c;L…

wpf 制作丝滑Flyout浮出侧边栏Demo (Mahapps UI框架)

Flyout 属性 CloseButtonVisibility: 设置为 Collapsed&#xff0c;意味着关闭按钮不可见。TitleVisibility: 设置为 Collapsed&#xff0c;意味着标题不可见。IsPinned: 设置为 True&#xff0c;意味着这个 Flyout 会固定住&#xff0c;不会自动关闭。Opacity: 设置为 1&…

Redis常见面试题概览——针对实习面试

目录 1. Redis基础2. Redis数据类型3. Redis多机与分布式4. Redis事务5. Redis性能和优化6. Redis应用场景7. Redis三大生产问题8. Redis客户端和连接 以下是Redis常见面试题的概览&#xff1a; 1. Redis基础 什么是Redis&#xff1f;Redis与其他key-value存储有什么不同&…

MySQL记录锁、间隙锁、临键锁(Next-Key Locks)详解

行级锁&#xff0c;每次操作锁住对应的行数据。锁定粒度最小&#xff0c;发生锁冲突的概率最低&#xff0c;并发度最高。 应用在InnoDB存储引擎中。InnoDB的数据是基于索引组织的&#xff0c;行锁是通过对索引上的索引项加锁来实现的&#xff0c;而不是对记录加的锁。 对于行…

GeoSever发布图层(保姆姬)

发布服务的具体步骤。 1. 安装 GeoServer 下载 GeoServer 安装包&#xff1a;GeoServer 官网按照安装说明进行安装&#xff0c;可以选择 Windows、Linux 或其他平台。 2. 启动 GeoServer 启动 GeoServer 通常通过访问 http://localhost:8080/geoserver 进行。默认用户名和密…