【ES实战】ES主副分片数据不一致分析

ES主副分片数据不一致分析

文章目录

  • ES主副分片数据不一致分析
    • 问题描述
    • 问题重现
    • 问题分析
    • 修复方案

问题描述

在请求索引中的某一条数据时,时而查询有结果,时而无结果。两种情况交替出现。

问题重现

通过对问题数据的点查,确实重现了该现象

GET indexName/typename/docid

问题分析

按照ES写入的设计,是最终一致性的,在进行刷盘之后,应该是不会丢失的。存储物理文件的损坏,应该是引起索引的不健康或者集群的不健康。

ES的底层使用的是Lucene,所以详细分析了对应版本的Lucene物理文件。

下表总结了 Lucene 中文件的名称和扩展名:

NameExtensionBrief Description
Segments Filesegments_N存储有关提交点的信息,N随着commit的次数增长而增长
Lock Filewrite.lock写入锁文件,可防止多个 IndexWriters 向同一文件写入。
Segment Info.si记录对应段的元数据
Compound File.cfs, .cfe合并当前段内所有文件生产合并文件,.cfe扩展后缀的合并文件用于记 录合并之前段对应的所有文件的元信息,.cfs扩展后缀的合并文件存储的 是合并前段内所有文件的实际数据
Fields.fnm记录index对应所有字段的信息
Field Index.fdxdoc通过docId来标识被存储在.fdt的文件中,方便快速的查询到docid对 应的数据需要对doc数据做相关的索引位置记录
Field Data.fdt存储doc数据的文件,只有设置Field.Store.YES的field对应的数据才会 被存储在该文件中
Term Dictionary.tim术语词典,记录术语信息
Term Index.tipterm被记录存储在.tim中,当term数据很大时需要对term进行索引方便 快速定位到对应的term
Frequencies.doc记录包含每个术语的文档列表以及频率
Positions.pos记录术语在索引中出现的位置
Payloads.pay记录额外的每个位置元数据信息,如字符偏移和用户有效载荷
Norms.nvd, .nvmnvd保存索引文档字段的加权因子的数据,搜索时计算相关性的一个系数,nvm保存索引文档字段加权因子的元数据
Per-Document Values.dvd, .dvmdvd保存索引文档的评分因子,也用于存储docValues类型的字段数据,即 列存储(正向索引),dvm保存索引文档的评分因子的元数据
Term Vector Index.tvx将偏移量存入文件数据文件
Term Vector Data.tvd包含术语向量数据。
Live Documents.liv有关实时文件的信息
Point values.dii, .dim保存索引点(如果有)

由于使用的不同,并非每个索引下都同时出现以上后缀名的文件。

对副本分片的物理文件进行破坏。

若进行大规模破坏,在下次刷盘时,会触发修复,重新分配分片。

若进行轻微破坏,比如打开下面的文件,轻微删除某条记录。不会被ES感知。集群和索引状态均显示正常。

在这里插入图片描述

GET gudong20231012/_doc/igntIYsBVSH_ahC4Fj7-

在这里插入图片描述

在这里插入图片描述

出现了副本数据查不到,主分片数据可以查询的现象。

判断应该是数据的物理文件出现了损坏,导致数据读不出来了。

修复方案

以当前主分片的数据为准,对副本分片进行重建。重建后的副本会自动获取全部最新的主分片的数据,若此时还是查询不到数据,那么只有重新向ES写入数据了。

先删除副本分片在增加副本。

PUT gudong20231012/_settings
{"number_of_replicas": 0
}
PUT gudong20231012/_settings
{"number_of_replicas": 1
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/110892.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端项目如何找到所有未被引用的文件

要找到 React 项目中所有未被引用的文件,可以使用工具来进行静态代码分析。以下是一些方法: 使用静态代码分析工具unimported: 静态代码分析工具可以找到未被引用的 JSX 文件。一个常用的工具是 “unimported”。以下是使用它的步骤&#xff…

Redis常见面试题总结

Redis(Remote Dictionary Server) 由Salvator Sanfilippo在2009年开源的使用 ANSI C 语言编写、高性能、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API 的非关系型数据库。 与传统数据库不同的是 Redis 的数据是存…

智能电表的功率计算方式是一样的吗?

随着科技的发展,智能电表已经成为了家庭和企业用电的必备设备。智能电表不仅可以实现用电量的监测和控制,还可以对用电负荷进行管理和优化。在智能电表的使用过程中,功率计算是一个重要的环节。那么,智能电表的功率计算方式是一样…

王兴投资5G小基站

边缘计算社区获悉,近期深圳佳贤通信正式完成数亿元股权融资,本轮融资由美团龙珠领投。本轮融资资金主要用于技术研发、市场拓展等,将进一步巩固和扩大佳贤通信在5G小基站领域的技术及市场领先地位。 01 佳贤通信是什么样的公司? 深…

GPT带我学-设计模式09-生产者消费者模式

1 什么是生产者消费者模式 生产者消费者模式是一种常见的并发设计模式。在任何系统设计中,如果某处的元素生成和消耗的速度存在差异,都可以使用生产者-消费者模式。 在这种模式中,生产者和消费者是独立且并发执行的线程。它们通过一个共享的…

【神印王座】伊莱克斯正式登场,皓晨通过永恒试炼,喜提两外挂,采儿丧失四感

Hello,小伙伴们,我是小郑继续为大家深度解析国漫资讯。 神印王座动画更新,龙皓晨在雅婷与皓月的帮助下,两次探索悲啸洞穴后成功闯入永恒之塔。在第78集预告中,伊莱克斯闪亮登场,皓晨通过永恒试炼成为新一代死灵圣法师&…

开发小经验积累

今天使用langchain官方文档上的这个包的时候 遇到了这个报错 这个直觉判断肯定是版本问题,我先是去perplexity.ai搜了相关报错 后来没找到什么比较好的回答 这时候想到可以去看当前自己用的版本的langchain的源码,而利用vscode强大的功能,…

Maven Dependency 机制

依赖关系管理是Maven的核心功能。管理单个项目的依赖关系很容易。管理由数百个模块组成的多模块项目和应用程序的依赖关系是可能的。Maven在定义、创建和维护具有良好定义的类路径和库版本的可复制构建方面有很大帮助。 一、传递依赖 Maven通过自动包含可传递的依赖关系&…

HarmonyOS/OpenHarmony原生应用-ArkTS万能卡片组件Slider

滑动条组件,通常用于快速调节设置值,如音量调节、亮度调节等应用场景。该组件从API Version 7开始支持。无子组件 一、接口 Slider(options?: {value?: number, min?: number, max?: number, step?: number, style?: SliderStyle, direction?: Ax…

【Linux】如何判断RS-232串口是否能正常使用

1.RS-232串口短接 使用RS-232协议的串口引脚一般如图下所示 为了让串口能够接收到自己发出的串口数据,需要将输出端和输入端(RXD和TXD)进行短接操作: 短接完成后,才能实现自发自收的功能(走其他协议的串口清…

CUDA编程入门系列(二) GPU硬件架构综述

一、Fermi GPU Fermi GPU如下图所示,由16个SM(stream multiprocessor)组成,不同的SM之间通过L2 Cache和全局内存进行相连。整个架构大致分为两个层次,①总体架构由多个SM组成 ②每个SM由多个SP core(stream…

面试题-消息中间件篇-主流的消息中间件

消息中间件篇 第一章 主流的消息中间件对比 1、主流的消息中间件有 Kafka、RabbitMQ、ActiveMQ 等。 Kafka: Kafka 是一种高吞吐量、分布式、可扩展的发布/订阅消息系统,主要用于大数据处理和分析。Kafka 采用消息日志的方式来存储消息,可以…

springMVC中统一异常处理@ControllerAdvice

1.在DispatcherServlet中初始化HandlerExceptionResolver 2.controller执行完成后执行processDispatchResult(processedRequest,response,mappedHandler,mv,dispatchException),有异常则处理异常 3.ExcepitonHandlerExceptionResolver中执行方法doResolveHandlerMethodExceptio…

JavaScript从入门到精通系列第二十一篇:JavaScript中的原型对象详解

文章目录 前言 一:原型对象 1:什么是原型对象 2:原型对象的作用 3:通过原型对象实现工厂方法 二:原型对象咋说 1:in和原型对象 2:hasOwnProperty()函数 3:hasOwnProperty()来…

【计网】计算机网络概述

目录 一、计算机网络的概念 二、计算机网络的组成 1、从组成部分上看 2、从工作方式上看 3、从功能组成上看 三、计算机网络的功能 1、数据通信 2、资源共享 3、分布式处理 4、提高可用性 5、负载均衡 四、计算机网络的分类 1、按分布范围 1.广域网 2.城域网 3.…

竞赛选题 深度学习二维码识别

文章目录 0 前言2 二维码基础概念2.1 二维码介绍2.2 QRCode2.3 QRCode 特点 3 机器视觉二维码识别技术3.1 二维码的识别流程3.2 二维码定位3.3 常用的扫描方法 4 深度学习二维码识别4.1 部分关键代码 5 测试结果6 最后 0 前言 🔥 优质竞赛项目系列,今天…

【FreeRTOS】【STM32】06 FreeRTOS的使用-动态创建多任务 FreeRTOS 的启动流程

主要流程参照【FreeRTOS】【STM32】06 FreeRTOS的使用-动态创建单任务 1.定义任务句柄 static TaskHandle_t AppTaskCreate_Handle NULL;2.硬件初始化 略 3.创建具体功能任务函数 见定义任务函数 4.使用xTaskCreate创建任务 xReturn xTaskCreate((TaskFunction_t )AppT…

PyTorch 模型性能分析和优化 - 第 6 部分

玩具模型 为了方便我们的讨论,我们使用流行的 timm python 模块(版本 0.9.7)定义了一个简单的基于 Vision Transformer (ViT) 的分类模型。我们将模型的 patch_drop_rate 标志设置为 0.5,这会导致模型在每个训练步骤中随机丢弃一半…

基于Qt QSpinBox 微调框小案例

修改微调框数值的方式包括: 单击右侧的向上/向下按钮 按键盘的向上/向下键 在微调框获取焦点时,通过鼠标滚轮的上下滚动 当然了,也允许用户手动输入 其中: QSpinBox - 用于整数的显示和输入 QDoubleSpinBox - 用于浮点数的显示和输入 它们都是 QAbstractSpinBox 的子类,具…

线程安全之锁的原理

🔥🔥 欢迎来到小林的博客!!       🛰️博客主页:✈️林 子       🛰️博客专栏:✈️ Linux       🛰️社区 :✈️ 进步学堂       &#x1f6f0…