Elasticsearch入门基础和集群部署

Elasticsearch入门基础和集群部署

  • 简介
    • 基础概念
      • 索引（Index）
      • 类型（Type）（逐步弃用）
      • 文档（Document）
      • 字段（Field）
      • 映射（Mapping）
      • 分片（Shard）
      • 副分片（Replica）
      • 集群和节点（Cluster&Node）
      • DSL（Domain Specific Language，领域特定语言）
    • 请求过程
    • 对比关系型数据库
  • 部署安装
    • 单机部署
    • 集群部署

简介

ElasticSearch 是一个开源的 分布式、支持RESTful 搜索和分析引擎，可以用来解决使用数据库进行模糊搜索时存在的性能问题，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。

ElasticSearch 使用 Java 语言开发，基于 Lucene。ES 早期版本需要 JDK，在 7.X 版本后已经集成了 JDK，已无需第三方依赖。

结构图：
在这里插入图片描述

基础概念

索引（Index）

等价于关系型数据库中的数据库
存储文档信息，是一系列文档的集合。

类型（Type）（逐步弃用）

为了与 关系数据库中的 表 对应
ES设计之初，每个文档都存储在一个索引中，并分配了一个映射类型。
然而，
关系型数据库中的表是独立存储的，不同的表字段相互独立，互不干扰。而ES中同一个Index中的不同Type是存储于同一个索引文件（Lucene索引文件）中的。

因此同一个Index中 不同Type中 相同名字的 字段的映射（Mapping）必须相同。

同时 不同类型的字段存储于同一个索引中，会造成数据稀疏，影响Lucene压缩文档的能力。

所以 ES自6.0 开始，Type被逐步弃用，7.0开始一个索引只能创建一个Type: _doc 。8.0之后，Type被完全删除。

官方解释：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/removal-of-types.html

文档（Document）

相当于关系型数据库中的表记录（行）。

ES的文档可以有一个或多个字段，每个字段可以是各种类型，是用户操作的最小单位。

ES中文档自带版本的概念，初始版本为1，每次写操作都会使版本号+1。
（ES不支持事务，版本号机制用来实现乐观锁，以此来保证数据的一致性）

每次查询文档，ES返回用户最新版本的文档。

字段（Field）

相当于关系型数据库中的 表字段。

一个文档可以包含一个或多个字段，每个字段都有一个类型与之对应。

ES提供了多种数据类型，常用的有：字符串，文本，数值。同时还提高数组，经纬度，IP地址等类型。

对于不同的类型，ES支持不同的搜索功能，例如：对于文本类型ES可以按照某种分词方式对数据进行搜索。并可以设定打分因子来影响最终的排序。

下图为索引，文档，字段之间的关系。
在这里插入图片描述

映射（Mapping）

相当于关系型数据库中的表结构。

建立索引时需要定义文档的数据结构，这个结构叫做映射。

在映射中，文档的字段类型一旦设定后就不能更改，因为字段类型定义后，ES已经针对定义的类型建立了特定的索引结构（倒排索引），这种结构不能更改。

ES提供了自动映射功能，即在添加数据时，如果该字段没有定义类型，ES会更加用户提供的字段的真实数据猜测可能的类型，从而自动进行定义。

分片（Shard）

Index 被分为多个碎片存储在不同的Node节点上的分片中，以此来提高性能和吞吐量。

为了实现ES集群，需要将数据切分，并存储到不同的计算机中。

在ES中，一个分片对应一个Lucene索引，每个分片可以设置多个副分片，当主分片发生故障，副分片会充当主分片继续工作。

索引的分片个数只能设置一次，之后不能更改。（因为路由规则的限制，下面有介绍）

默认情况下，ES 6.X 每个索引有5个主分片，1个副分片，ES 7.X 每个索引有 1个主分片 ，1个副分片

副分片（Replica）

每个分片可以设置多个副分片，当主分片发生故障，副分片会充当主分片继续工作。

在一个索引中，副分片是没有限制的，用户可以按需设置。

默认情况下，ES默认副分片数为1。副分片数是可以修改的。

一个分片的主分片和副分片分别存储于不同的节点上。

ES不允许Primary和它的Replica放在同一个节点中，
并且同一个节点不接受完全相同的两个Replica

集群，节点，分片，副分片的关系 见 下图
某个索引设置了三个分片，编号分别为0，1，2。P代表主分片，R代表副分片
在这里插入图片描述

集群和节点（Cluster&Node）

一个节点等价于一个ES实例。

ES节点分为三类：

  • master 节点：

集群中的一个节点会被选为 master 节点，负责管理集群范畴的变更
例如创建或删除索引，添加节点到集群或从集群删除节点。


master 节点无需参与文档层面的变更和搜索，这意味着仅有一个 master 节点并不会因流量增长而成为瓶颈。
配置node.master 为 true（默认）的节点都可能成为master节点。

  • data 节点：

持有数据和倒排索引，操作文档数据，对内存和IO消耗较大。
每个节点都可通过配置文件中的 node.data 属性为 true (默认)成为数据节点。

  • 协调 节点：

协调节点负责将请求转发给其他节点，并最终将结果汇总给客户端。

默认情况下，任意节点都可以是协调节点。
它的生命周期是一个单独的ES请求。也就是说，当客户端向集群中某个节点发送请求后，这个节点就是当前请求的协调节点，当请求结束后，协调节点的生命周期也结束。


为了 降低集群的负载，可以设置某些节点为单独的协调节点。
将 node.master 属性和 node.data 属性全部设置为 false，那么该节点就是一个协调节点，扮演一个负载均衡的角色，只负责将到来的请求路由到集群中的各个节点。如下图
在这里插入图片描述

多个节点构成一个ES集群，这些节点在同一个网络内，集群名字需要相同。

在分布式系统中，为了完成海量数据的存储和计算，同时提高系统的高可用，需要多台计算机集成在一起协作，这种形式成为集群。目的是解决单台计算机存储和性能的瓶颈。

DSL（Domain Specific Language，领域特定语言）

DSL是在特定领域执行特定任务的语言，例如：HTML，CSS，DSL。

ES中的DSL使用JSON进行表达。简单明了，同时屏蔽了各种编程语言之间数据通信的差异。

请求过程

协调节点内部会维护一份分片-节点路由表，记录着分片和节点的对应关系。

当客户端将请求发送到协调节点后，ES经过路由算法，找到对应的主分片序号，根据分片-节点路由表找到对应的节点，执行相应的任务

  • 读请求：使用随机轮询算法，从主/副分片中 选择一个 进行数据读取。（增加副分片可以提高读请求的吞吐量）
  • 写请求：主分片处理写请求，同时将请求同步给副分片，所有分片都写成功后，返回请求给客户端。（副分片越多，写入越慢）

路由算法：
shard=hash(routing) % number_of_primary_shards

路由公式参数说明：
shard：最终选择分片序号
routing：路由ID，不指定则为文档ID
number_of_primary_shards：主分片数量

上述公式中，对主分片数量取余，所以主分片数量确定后，就不能修改，否则会导致数据找不到

对比关系型数据库

  1. 索引方式：
    关系型数据库大多使用B+树，ES使用倒排索引。
    倒排索引：ES在数据分词后 记录每个词 对应的文档id。
    在这里插入图片描述

  2. 事务：
    ES不支持事务。ES在更新文档时，先读取文档再进行修改，然后再为文档重建索引。
    ES使用乐观锁解决并发问题。每次更新先增加文档版本号，增加成功才进行下一步操作。

  3. SQL 和 DSL
    DSL 可以支持更复杂的查询

  4. 扩展
    关系型数据库的扩展，需要借助第三方组件进行分库分表。
    ES本身就支持分片集群。

  5. 查询速度和实时性
    ES基于倒排索引实现，对于模糊查询明显快于关系型数据库
    ES在内存和磁盘之间有一层系统缓存。ES写入数据后，会先存储在内存中，此时数据还不能被搜索到，内存中每隔一段时间（默认1s）刷新到系统缓存，此时才能被搜索到，因此ES的写入是准实时的。

部署安装

官网下载：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-2

出于安全性考虑，ES不允许root账户启动，应该创建其他账户启动ES

# 增加组
groupadd es
# 创建用户es 并将用户添加到es组
useradd es -g es
# 设置密码
passwd es
# 切换用户
su es
# 上传es压缩包并解压
tar -zxvf elasticsearch-7.10.2-linux-x86_64.tar.gz
# 如果提示缺少权限的使用chmod 添加相应权限

解压后各目录见下图：
在这里插入图片描述

单机部署

ES进程比较吃内存，默认占用内存为1G。如果机器内存较小，可以修改config/jvm.options的配置文件
修改其中的-Xms 和-Xmx参数

vim config/jvm.options
-Xms256m
-Xmx256m

修改完成后，执行bin目录下elasticsearch命令即可启动ES。

# 前台启动
./elasticsearch
# 后台启动
./elasticsearch -d

ES启动完成后，在安装目录下会多一个data目录，用于存放索引数据文件
使用 curl 127.0.0.1:9200验证是否启动完成

在这里插入图片描述
自此便完成了ES的单机部署。

集群部署

这里使用一台计算机部署伪集群，实际效果和集群相同。

# 若部署多台计算机实例的，可以省略下面步骤
# 创建集群目录
mkdir -p es-cluster/es0
mkdir -p es-cluster/es1
mkdir -p es-cluster/es2
# 复制配置文件到 集群配置目录下
cp -r elasticsearch-7.10.2/* es-cluster/es0/
cp -r elasticsearch-7.10.2/* es-cluster/es1/
cp -r elasticsearch-7.10.2/* es-cluster/es2/

分别修改各节点配置文件 config/elasticsearch.yml
es0

# 集群名称，同一个集群要求集群名称相同
cluster.name: es-cluster
# 节点名称，同一集群不同实例名称不能相同
node.name: es0
# 指定该节点是否存储索引数据，默认为true。
node.data: true
# 指定该节点是否有资格被选举成为node 默认是true
node.master: true
# 数据存储位置
path.data: /opt/work/es-cluster/es0/data
# 日志存储位置
path.logs: /opt/work/es-cluster/es0/logs
# 锁定物理内存，防止操作系统将内存交换到磁盘上
bootstrap.memory_lock: true
# 网络访问的IP
network.host: 127.0.0.1
# HTTP访问的端口
http.port: 9200
# 集群内部通信的端口
transport.tcp.port: 9300
# 当节点启动时，传递一个初始主机列表来执行发现
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]
# 写入候选主节点的设备地址，来开启服务时就可以被选为主节点
cluster.initial_master_nodes: ["es0", "es1", "es2"]

es1

cluster.name: es-cluster
node.name: es1
node.data: true
node.master: true
path.data: /opt/work/es-cluster/es1/data
path.logs: /opt/work/es-cluster/es1/logs
bootstrap.memory_lock: true
network.host: 127.0.0.1
http.port: 9201
transport.tcp.port: 9301
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]
cluster.initial_master_nodes: ["es0", "es1", "es2"]

es2

cluster.name: es-cluster
node.name: es2
node.data: true
node.master: true
path.data: /opt/work/es-cluster/es2/data
path.logs: /opt/work/es-cluster/es2/logs
bootstrap.memory_lock: true
network.host: 127.0.0.1
http.port: 9202
transport.tcp.port: 9302
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]
cluster.initial_master_nodes: ["es0", "es1", "es2"]

启动集群

# 分别启动三台ES实例
./elasticsearch -d

特别提醒：如果之前使用单机启动过，记得删除已经生成的data/目录

启动成功后，使用 curl http://127.0.0.1:9200/_cat/nodes?v 命令查看节点信息

在这里插入图片描述
自此ES集群搭建成功

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/10767.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

第十二届蓝桥杯省赛真题 Java A 组【原卷】

第十二届蓝桥杯省赛真题 Java A 组【原卷】

文章目录 发现宝藏【考生须知】试题 A: 相乘试题 B: 直线试题 C : \mathrm{C}: C: 货物摆放试题 D: 路径试题 E: 回路计数试题 F : \mathrm{F}: F: 最少砝码试题 G: 左孩子右兄弟试题 H : \mathrm{H}: H: 异或数列试题 I \mathbf{I} I 双向排序试题 J : \mathrm{J}: J: 分…
阅读更多...
Promise.all和 race

Promise.all和 race

Promise.all() all方法可以完成并行任务， 它接收一个数组，数组的每一项都是一个promise对象。返回值： 成功时：当数组中所有的promise的状态都达到resolved的时候，就返回包含所有 Promise 结果的数组，并且…
阅读更多...
Vue3实战笔记（15）—pinia基本用法--State

Vue3实战笔记（15）—pinia基本用法--State

文章目录 前言一、pinia的state二、修改数据的几种方法：1.直接修改2.批量修改3.重置 state4.替换 state 三 补充知识总结 前言 接上文，在大多数情况下，state 都是你的 store 的核心。人们通常会先定义能代表他们 APP 的 state。在 Pinia 中&…
阅读更多...
Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV

Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV

OpenCV是大型的Third party 计算机视觉库，在开发中会经常用到，本篇记录一下 在Ubuntu系统上安装和配置OpenCV，并使用C/C调用OpenCV 关于VS Code配置C/C开发环境的部分，见之前的博文 Linux/Ubuntu系统下使用VS Code配置C/C开发环境…
阅读更多...
shell进阶之计算编译前后时间(十八)

shell进阶之计算编译前后时间(十八)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏：多媒…
阅读更多...
【linux】隐藏文件，vim 或 gedit 打开隐藏文件

【linux】隐藏文件，vim 或 gedit 打开隐藏文件

用la查看隐藏文件 la 用ls查看正常文件 ls隐藏文件在Linux和其他类UNIX系统中以.开头命名，它们通常用于存储用户或系统的配置信息、缓存数据或其他不想让用户直接看到的文件。以下是您提到的一些隐藏文件及其典型用途： .bashrc: 这是Bourne Again SHe…
阅读更多...
FPGA架构入门

FPGA架构入门

一、引言 刚学习FPGA的时候，有一大堆不知名的名词，即使查它的含义，但还是不明白它是做什么的，用在哪些地方，为什么要用，导致即使接受到大量信息，也无法理解，最根本的原因&#xff0…
阅读更多...
深度学习实战：定制化智能狗门的迁移学习之旅

深度学习实战：定制化智能狗门的迁移学习之旅

引言 在深度学习领域，迁移学习是一种强大的技术，它允许我们利用预训练模型的知识来解决新的问题。在本博客中，我们将通过一个有趣的项目——为前美国总统奥巴马的宠物狗Bo定制智能狗门——来探索迁移学习的实际应用。 迁移学习简介 迁移学…
阅读更多...
Spring 类加载器

Spring 类加载器

AbstractBeanFactory --> ClassUtils.getDefaultClassLoader()->( Thread.currentThread().getContextClassLoader() or ClassLoader.getSystemClassLoader() ) --> AppClassLoader (默认情况下会拿到) Nullable public static ClassLoader getDefaultClassLoader() …
阅读更多...
Fifteen Day 2024年5月11日

Fifteen Day 2024年5月11日

Dense adj.密集的 稠密的 浓密的 茂密的 Dense crowd. 密集的人群。 Crowd n.人群 群众 一群 v.聚集 挤满 Shanghai has a dense population. 上海的人口密度很大. Population n.人口 Pass through a dense jungle. 穿过一片茂密的丛林。 Through prep.穿越 越过 从头到…
阅读更多...
代码+视频，R言语处理数据中的缺失值

代码+视频，R言语处理数据中的缺失值

在SCI论文中，我们不可避免和缺失数据打交道，特别是在回顾性研究，对于缺失的协变量（就是混杂因素），我们可以使用插补补齐数据，但是对于结局变量和原因变量的缺失，我们不能这么做。部分…
阅读更多...
mysql设置远程访问权限，允许其他IP访问

mysql设置远程访问权限，允许其他IP访问

文章目录 更改mysql配置文件登录mysql 更改mysql配置文件 查找.ini或者.cnf文件 更改bind-address为0.0.0.0 [mysqld] character-set-serverutf8mb4 bind-address0.0.0.0 default-storage-engineINNODB [mysql] default-character-setutf8mb4 [client] default-character-s…
阅读更多...
数据分析思维——数据埋点笔记，以电商为例

数据分析思维——数据埋点笔记，以电商为例

数据埋点 数据分析前提是有数据，数据从哪里来，要选择采集哪些数据都需要考虑。如某些app上的商品推荐，是基于哪些信息来预判的呢？因此作为数据分析师有必要系统的了解用户行为到用户数据的整个过程 何为数据埋点 每当用户在客户端…
阅读更多...
【GlobalMapper精品教程】079：投影坐标系转地理坐标系（UTM转WGS1984/2000）

【GlobalMapper精品教程】079：投影坐标系转地理坐标系（UTM转WGS1984/2000）

文章目录 一、矢量UTM转WGS1984/20001. UTM转WGS19842. UTM转CGCS2000二、栅格UTM转WGS1984/2000一、矢量UTM转WGS1984/2000 加载配套实验数据（data079.rar）中的矢量数据，如下所示： 查看源坐标系：双击图层的，图层投影选项卡，为UTM投影，Zone48N。 设置系统坐标系：点击…
阅读更多...
C#【进阶】泛型

C#【进阶】泛型

1、泛型 文章目录 1、泛型1、泛型是什么2、泛型分类3、泛型类和接口4、泛型方法5、泛型的作用思考 泛型方法判断类型 2、泛型约束1、什么是泛型2、各泛型约束3、约束的组合使用4、多个泛型有约束思考1 泛型实现单例模式思考2 ArrayList泛型实现增删查改 1、泛型是什么 泛型实现…
阅读更多...
nowcoder——回文结构

nowcoder——回文结构

链表的回文结构_牛客题霸_牛客网 (nowcoder.com) 我们来分析该题：我们首先要清楚什么是回文结构？其实就是对称结构。如果一个链表呈对称结构就说明该链表具有回文结构。 下面给上一些例子： 那我们怎么判断该链表是否属于回文结构呢&#xf…
阅读更多...
电影评分和评论抓取

电影评分和评论抓取

要从电影评分⽹站抓取电影的评分和⽤⼾评论，可以考虑使⽤BeautifulSoup和requests库解析⽹⻚内容。不过，实际操作中，针对特定⽹站的结构可能会有所不同，这⾥将给出⼀个基础的⽰例， 演⽰如何从⼀个假设的⽹站中抓取信息…
阅读更多...
Python彻底解决TypeError的问题

Python彻底解决TypeError的问题

今天看到一个问题： TypeError: int() argument must be a string, a bytes-like object or a number, not list 代码是这样的： id int(os.path.split(imagePath)[1].split(.)[0]) 其实这个提示已经非常明显了，百度翻译过来就是&#xff1a…
阅读更多...
对Promise的理解

对Promise的理解

Promise的含义 Promise是ES6引入的JS中进行异步编程的新解决方案。 它是一个对象， 可以获取异步操作的消息， 它的出现大大改善了异步编程的困境， 避免了地狱回调，它比传统的解决方案回调函数和事件更合理和更强大。 Promise的实…
阅读更多...
[BJDCTF2020]ZJCTF，不过如此 1

[BJDCTF2020]ZJCTF，不过如此 1

涉及&#xff1a;php的伪协议、preg_replace函数的漏洞和正则表达式的运用。 解题步骤 <?phperror_reporting(0); $text $_GET["text"]; $file $_GET["file"]; if(isset($text)&&(file_get_contents($text,r)"I have a dream"))…
阅读更多...
最新文章

Copyright @ 2022~2023