【ES入门一：基础概念】

集群层面上的基础概念

集群

由多个es实例组成的叫做集群
image.png

节点

单个ES的服务实例叫做节点。每个实例都有自己的名字，就是在配置文件中配置的‘node.name’中的内容。为了标识每个节点，每个节点启动后都会分配一个UID，存储在data目录。每个节点受到集群的管理，我们可以通过增加或减少节点来达到扩容和减容的目的

集群中的节点是有分类的：

  • 主节点：主节点在整个集群中是唯一的，主节点主要负责管理集群变更，元数据的更改
  • 数据节点：负责保存数据，要扩产存储时需要扩展这类节点。数据节点负责执行数据相关的操作，如：搜索、聚合、crud。其对节点机器的CPU、内存、I/O要求都比较高
  • 协调节点：负责接口客户端的请求，将请求路由到对应节点进行处理，把最终结果汇总到一起返回给客户端，因为需要处理结果集和对其进行排序，需要较高的CPU和内存资源
  • 预处理节点：预处理操作允许在写入文档前通过定义的一些processors处理器和管道对数据进行转换。默认情况下节点启动后就是预处理节点
  • 部落节点：未来会淘汰
  • Hot&Warm Node: 不同硬件配置的节点，用来实现Hot&Warm架构的节点，有利于降低集群部署成本。例如，在硬件资源好的机器中部署Hot类型的数据节点，而在硬件资源一般的机器上部署Warm节点

在新版的ES中，是这样配置的
image.png
如上示例，node.roles的值是一个数组，说明一个节点可以有多个角色。node.roles的可选项如下：
image.png
机智的你会发现，上述类型中并没有协调节点的类型选项，那怎么设置一个节点为协调节点那？ 其实每个节点本身就是一个协调节点，如果你一定要指定一个节点为协调节点的话，可以这样设置：
image.png

分片

分片的概念其实很好理解，试想一下如果家里的书多到一个箱子放不下，是不是要找另外一个箱子来装，这些书好比就是海量的数据，一个机器放不下，就放到多个机器上来存储
image.png
一般来说，面对海量数据的时候，分布式系统可以通过增加机器数量来进行水平拓展。所以，系统需要将数据分成几个小块数据，并且尽量均匀的分配到各个机器上，然后通过某种策略找到对应数据所在的位置。分片是ES底层最基本的读写单元，分片是为了分割巨大的索引数据，让读写可以有多台机器来完成，从而提高系统的吞吐量

副本

为了保证数据可靠性，一般分布式系统都会对数据进行冗余备份，这个备份就是副本。**ES将数据副本分为主从2个类型：主分片+副分片。**在写入的过程中，先写入主分片，成功后再并发写副分片，在数据恢复时以主分片为主。多个副本除了可以保证数据可靠性，还有一个好处就是可以承担系统的读负载

可以在创建索引的时候，指定分片数量和副本数量：
image.png

数据层面上的基础概念

索引（相当于数据库表）

索引是一类相似文档的集合。ES将数据存储在一个或多个Index中，例如将用户数据存储到User Index中，而将订单数据存储到Order Index中。一个索引有一个或者多个分片，索引的数据会以某种方式分散到各个分片上去存储
image.png
如上图，索引有3个分片，主分片分别是P1、P2、P3，队友的副本分别是R1、R2、R3，仔细看主分片和其他副本分片不会同时分配在同一个节点上。这样是保证当一个节点的主分配下线时，其他节点上的从副本可以升级为主分配，保证数据的可靠性

Mapping （相当于建表语句）

Mapping定义了索引里面的文档到底有哪些字段 以及字段的类型，类似于数据库中表结构的定义。Mapping有2种作用：

  • 定义索引中各个字段的名称和对应的类型
  • 定义各个字段、倒排索引的相关设置，如使用什么分词器

需要注意的是，Mapping一旦定义完成后，已经定义的字段的类型是不能更改的

文档（相当于表记录）

我们往Es中写入的每一条数据都是一个文档，并且我们搜索也是以文档为单位的，所以文档是ES中的主要实体

我们在kibana或者postman中测试插入一条书本记录：
image.png
然后在查一下这条记录：
image.png
顺便解释一下返回的字段含义：

  • _index：文档所属的索引名字，也就是books
  • _type：文档所属的类型名称，现在ES7.x统一为_doc
  • _id： 文档的唯一id。如果我们插入时不指定文档id，es会随机分配，这里有利于数据均匀分散到各个分片
  • _version：文档的版本信息，并发读写时可以解决文档冲突
  • _score：相关性算法，代表查询的匹配性
  • _seq_no和_primary_term：es内部用来保证主分片和副本数据一致性的，后面的章节中我们会进行介绍**。当一个index每次选择主分配后都会有一个序号，记为_primary_term，它是递增的。在同一个index下，每次写入数据后都会有一个写入顺序号，记为_seq_no, 它也是递增的。_primary_term 和 _seq_no 在逻辑上构成了一个文档写入的唯一位置。**

字段（相当于表字段）

每个文档都有一个或者多个字段，例如books索引指定了书本有2个字段book_id和name两个字段，其实就是Json中的key，常见的类型有keyword、text、数字类型（integer、long、float、double等）、对象存储

  • keyword：适合存储简短、结构化的字符串，比如产品名称、产品id
  • text适合存储全文本数据，比如：文件内容、短信内容

下面是一个简单的示例：
image.png

词项

将全文本的内容进行分词后得到的词语就是词项了。例如“programmmers love cat”使用标准分词器后得到【programmmer、love、cat】这3个词项。需要注意的是：分词器除了进行分词外还会进行大小写转换、去复数等操作

倒排索引和正排索引

image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/720507.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

线程的同步互斥机制3月4日

线程的同步互斥机制3月4日

题目&#xff1a; 代码&#xff1a; #include <stdio.h> #include <pthread.h> #include <string.h> #include <semaphore.h> #include <unistd.h>sem_t sem1,sem2;void* callback1(void*arg) {while(1){if(sem_wait(&sem1)<0) //等待…
阅读更多...
SwiftUI之CoreData详解（一）

SwiftUI之CoreData详解（一）

coreData 是一种数据持久化的方案&#xff0c;是对SQLite的一种封装。一说到这种桌面化的数据库&#xff0c;我就无比的怀念Foxbase|Foxpro, 多好的数据库产品&#xff0c;被微软扼杀了&#xff0c;相当年教大学生妹子们国家二级数据库时都是手把手教的&#xff0c;呃~~~&#…
阅读更多...
Java轻量延迟重试队列实现

Java轻量延迟重试队列实现

背景 很多开放平台都使用Webhook的方式进行外部系统数据同步或者通知&#xff0c;对于Webhook请求的对外发送不进行重试显然有点说不过去。使用简单的while一个条件去重试N次好像达不到什么效果&#xff0c;只能是说有重试而已&#xff0c;而使用消息队列中间件好像依赖又太重…
阅读更多...
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Model

【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Model

High-Resolution Image Synthesis with Latent Diffusion Model 引用&#xff1a; Rombach R, Blattmann A, Lorenz D, et al. High-resolution image synthesis with latent diffusion models[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern re…
阅读更多...
SkyWalking链路追踪上下文TraceContext的追踪身份traceId生成的实现原理剖析

SkyWalking链路追踪上下文TraceContext的追踪身份traceId生成的实现原理剖析

结论先行 SkyWalking 通过字节码增强技术实现&#xff0c;结合依赖注入和控制反转思想&#xff0c;以SkyWalking方式将追踪身份traceId编织到链路追踪上下文TraceContext中。 是不是很有趣&#xff0c;很有意思&#xff01;&#xff01;&#xff01; 实现原理剖析 TraceConte…
阅读更多...
1.1_2 性能指标——速率、带宽、吞吐量

1.1_2 性能指标——速率、带宽、吞吐量

文章目录 1.1_2 性能指标——速率、带宽、吞吐量&#xff08;一&#xff09;速率&#xff08;二&#xff09;带宽&#xff08;三&#xff09;吞吐量 1.1_2 性能指标——速率、带宽、吞吐量 &#xff08;一&#xff09;速率 速率即数据率或称数据传输率或比特率。 速率就是“快…
阅读更多...
Redis的设计与实现

Redis的设计与实现

Redis的设计与实现 数据结构和内部编码 type命令实际返回的就是当前键的数据结构类型&#xff0c;它们分别是&#xff1a;string(字符串)hash(哈希)、list(列表)、set(集合)、zset (有序集合)&#xff0c;但这些只是Redis对外的数据结构。 实际上每种数据结构都有自己底层的…
阅读更多...
Docker Protainer可视化平台，忘记登录密码，重置密码。

Docker Protainer可视化平台，忘记登录密码，重置密码。

由于好久没有登录portainer系统&#xff0c;导致忘记了登录密码&#xff0c;试了好多常用的密码都不对&#xff0c;无奈只能重置密码。 一、停止protainer 容器 查看容器ID和COMMAND 用于停止容器 docker ps -a停止容器 docker stop portainer二、查找volume data 宿主机所在…
阅读更多...
JavaEE之多线程

JavaEE之多线程

一.认识线程 1.多进程实现并发编程的不足之处&#xff1a; 引入多个进程的核心&#xff1a;实现并发编程&#xff08;c的CGI技术就是通过多进程的方式实现的网站后端开发&#xff09;。因为现在是一个多核cpu的时代&#xff0c;并发编程就是刚需。多进程实现并发编程&#xf…
阅读更多...
达梦、金仓、南大、瀚高、优炫：从社区建设看企业技术自信心

达梦、金仓、南大、瀚高、优炫：从社区建设看企业技术自信心

正文约950字&#xff0c;预计阅读时间2分钟 国产技术厂商在面对自身产品问题时&#xff0c;往往保持回避态度&#xff0c;不愿公之于众&#xff0c;主要原因有2方面&#xff1a; 1&#xff0c;产品技术层面问题较多&#xff0c;如某些根本性缺陷难以攻克&#xff0c;或问题发…
阅读更多...
java找工作之Mybatis（入门及xml配置相关）

java找工作之Mybatis（入门及xml配置相关）

Mybatis 学习Mybatis就要学会查看官网&#xff0c;官网地址如下&#xff1a;<MyBatis中文网 > 1、简介 1.1什么是Mybatis MyBatis 是一款优秀的持久层框架&#xff0c;它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取…
阅读更多...
【Vue3】3-6 : 仿ElementPlus框架的el-button按钮组件实

【Vue3】3-6 : 仿ElementPlus框架的el-button按钮组件实

文章目录 前言 本节内容实现需求完整代码如下&#xff1a; 前言 上节,我们学习了 slot插槽&#xff0c;组件内容的分发处理 本节内容 本小节利用前面学习的组件通信知识&#xff0c;来完成一个仿Element Plus框架的el-button按钮组件实现。 仿造的地址&#xff1a;uhttps://…
阅读更多...
预充电阻器选型报告

预充电阻器选型报告

1. 客户基础条件 预充时间 t≤200ms &#xff0c;电容 C1280uf &#xff0c;电池包最高电压 U410V&#xff0c;预充深度 98% &#xff0c;30 秒内连续预充 15 次。 1.1 现选型号 现选EAK预充电阻额定功率 60W&#xff0c;标称阻值为 35Ω&#xff0c;在 此条件下单次预充…
阅读更多...
Unity 协程（Coroutine）到底是什么？

Unity 协程（Coroutine）到底是什么？

参考链接&#xff1a;Unity 协程(Coroutine)原理与用法详解_unity coroutine-CSDN博客 为啥在Unity中一般不考虑多线程 因为在Unity中&#xff0c;只能在主线程中获取物体的组件、方法、对象&#xff0c;如果脱离这些&#xff0c;Unity的很多功能无法实现&#xff0c;那么多线程…
阅读更多...
红黑树的简单介绍

红黑树的简单介绍

红黑树 红黑树的概念 红黑树&#xff0c;是一种二叉搜索树&#xff0c;但在每个结点上增加一个存储位表示结点的颜色&#xff0c;可以是Red或Black。 通过对任何一条从根到叶子的路径上各个结点着色方式的限制&#xff0c;红黑树确保没有一条路径会比其他路径长出俩倍&#x…
阅读更多...
Python类 __init__() 是一个特殊的方法

Python类 __init__() 是一个特殊的方法

设计者&#xff1a;ISDF工软未来 版本&#xff1a;v1.0 日期&#xff1a;2024/3/5__init__() 是一个特殊的方法 类似c# C的构造函数 两头都包含两个下划线&#xff0c;这是约定&#xff0c;用于与普通的函数保持区分class User:用户类def __init__(self,first_name,last_name):…
阅读更多...
Linux 运维：CentOS/RHEL防火墙和selinux设置

Linux 运维：CentOS/RHEL防火墙和selinux设置

Linux 运维&#xff1a;CentOS/RHEL防火墙和selinux设置 一、防火墙常用管理命令1.1 CentOS/RHEL 7系统1.2 CentOS/RHEL 6系统 二、临时/永久关闭SELinux2.1 临时更改SELinux的执行模式2.2 永久更改SELinux的执行模式 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;…
阅读更多...
Finetuning Large Language Models: Sharon Zhou

Finetuning Large Language Models: Sharon Zhou

Finetuning Large Language Models 课程地址&#xff1a;https://www.deeplearning.ai/short-courses/finetuning-large-language-models/ 本文是学习笔记。 Goal&#xff1a; Learn the fundamentals of finetuning a large language model (LLM). Understand how finetu…
阅读更多...
STM32（16）使用串口向电脑发送数据

STM32（16）使用串口向电脑发送数据

发送字节 发送数组 发送字符和字符串 字符&#xff1a; 字符串&#xff1a; 字符串在电脑中以字符数组的形式存储
阅读更多...
ElasticSearch之分布式模型介绍，选主，脑裂

ElasticSearch之分布式模型介绍，选主，脑裂

写在前面 本文看下es分布式模型相关内容。 1&#xff1a;分布式模型 1.1&#xff1a;分布式特征 支持水平扩展&#xff0c;可以存储PB级别数据&#xff0c;每个就能都有自己唯一的名称,默认名称时elasticsearch&#xff0c;可以通过配置文件&#xff0c;如cluster.name: my…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023