三、ElasticSearch集群搭建实战

  •  本篇ES集群搭建主要是在Linux VM上，未使用Docker方式, ES版本为7.10 ,选择7.10版本原因可以看往期文章介绍。

一、ElasticSearch集群搭建须知

JVM设置

Elasticsearch是基于Java运行的，es7.10可以使用jdk1.8 ~ jdk11之间的版本，更高版本还没测试过。ES运行期间很多计算都需要大量内存，所以内存这块需要提前根据机器规格进行适当配置，内存越大越好，单实例JVM堆内存官方建议最大设置到30G。

集群节点数

单个ES集群节点数据可以达到几百到上千,当单个集群满足不了业务时可以再搭新的ES集群。集群节点数以单数最好，可以避免脑裂，不过7.x及以上版本官方已经进行了优化，基本不会出现脑裂问题了。

ES启动用户

Linux下启动ES不能使用root用户， 需要单独建个系统用户来启动ES 。

二、ES集群部署架构

下面示例是以三个机器实例来搭建的ES集群

 单集群示例

  • 集群每个节点都可以设置为可参与master选举及是否是数据节点

 多集群示例

相较于单集群，多集群上层可以加一层负载均衡，统一管理及路由，方便业务使用。

集群访问规范建议

  出于安全及后续维护综合考虑，ES集群对外提供访问地址最好是一个域名，这样能避免IP到处暴露，也避免IP较高频率变化而导致系统经常升级。

三、ES集群搭建实战

软件下载

   es官方下载地址，es和kibana尽量下载同一版本

  • elasticsearch各版本下载地址

        https://www.elastic.co/cn/downloads/past-releases#elasticsearch

  • kibana (es的可视化管理工具)

        Past Releases of Elastic Stack Software | Elastic

搭建步骤    

以下搭建步骤均基于ES7.10版本，以该步骤在笔者公司内部测试环境、生产环境成功搭建过多次，并已稳定运行一年多。其它6.x、8.x版本搭建过程有些差异，请大家认准版本。

搭建过程中如果遇到问题也可以参考官方对应版本文档说明，以下是7.10官方文档。

 Installing Elasticsearch | Elasticsearch Guide [7.10] | Elastic

搭建集群时先在一台实例上把ES搭建好后，再Copy到实例上进行配置修改。

 1、堆内存设置 - jvm.options

        启动前先设置ES占用的堆内存，es还是需要比较多的内存，可以根据机器规则来设置。如果机器只有4g内存可以设置2-3g，如果是8g的话可以设置为6g，16G的话可以设置到14G。剩余一部分留给系统。

-Xms6g     
-Xmx6g

 如果在linux下启动出现以错时需要修改linux系统配置

        max virtual memory areas vm.max_map_count [65530] is too low, increase to at

是因为系统虚拟内存默认最大映射数为65530，无法满足ES要求，需要调整为262144以上。

sudo vim /etc/sysctl.conf#添加参数
vm.max_map_count = 262144#重新加载配置
sysctl -p

2、先搭建ES单个节点

  先找任一个节点修改elasticsearch.yml，并添加以下配置（此时不要添加集群和证书配置）

#数据和日志目录
path.data: /opt/data
path.logs: /opt/logs#http访问端口，程序或kibana使用
http.port: 9200#开启安全访问，集群搭建必选
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

3、启动ES 

#启动命令，注意要使用非root账户
./bin/elasticsearch

观察启动是否ok，若ok进行第三步

4、设置安全账号信息（ES要启动状态）

  • 执行以下命令，给各账号设置密码，整个集群只需要设置一次即可

  • bin/elasticsearch-setup-passwords interactive

    警告：设置账户密码切记要在单实例非集群模式时配置，不能添加任何集群的配置，否则会设置失败

  • 似乎有8个账户都需要设置密码，方便期间密码全部设置成一样的即可，后续还可以再改。  

5、添加ES集群配置信息

  • 集群搭建需要开启安全验证，开启安全需要用到证书，证书生成参考【ES集群安全策略设置 X-pack】，生成后进行以下配置

  • elasticsearch.yml加入以下配置

  • 以下配置是集群搭建的关键配置，配置错就会导致集群节点之间可能无法通信、节点不能加入集群等各种问题

#数据和日志存储路径
path.data: /opt/data
path.logs: /opt/logs
#数据备份和恢复使用，可以一到多个目录
path.repo: ["/opt/backup/es", "/opt/backup/es1"]#http访问端口，程序或kibana使用
http.port: 9200#集群名称
cluster.name: es001
#节点名，每个节点名不能重复
node.name: node1#是否可以参与选举主节点
node.master: true
#是否是数据节点
node.data: true#允许访问的ip，4个0的话则允许任何ip进行访问
network.host: 0.0.0.0#es各节点通信端口
transport.tcp.port: 9300#集群每个节点IP地址，搭建过程一个一个填写，比如搭建第一个节点时，只填写一个ip和节点信息
discovery.seed_hosts: ["xxx.xx.xx.xx:9300", "xx.xx.xx:9300", "xx.xx.xx:9300"]                  
#es7.x新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node1", "node2", "node3"]  #配置是否压缩tcp传输时的数据，默认为false，不压缩
transport.tcp.compress: true
# 是否支持跨域,es-header插件使用
http.cors.enabled: true
# *表示支持所有域名跨域访问
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length#集群模式开启安全 https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12#默认为1s，指定了节点互相ping的时间间隔。
discovery.zen.fd.ping_interval: 1s
#默认为30s，指定了节点发送ping信息后等待响应的时间，超过此时间则认为对方节点无响应。
discovery.zen.fd.ping_timeout: 30s
#ping失败后重试次数，超过此次数则认为对方节点已停止工作。
discovery.zen.fd.ping_retries: 3

以上配置添加好后重启ES，验证是否能启动成功，如果启动不成功可根据ES日志进行排查解决，或者重新进行搭建。

是否启动成功可以使用以下方式进行验证

curl -XGET -u elastic:password localhost:9200/_cat/indices?v

curl -XGET -u elastic:password localhost:9200/_cat/health?v

在命令行行执行后看是否有数据返回，如果开启了安全验证，需要把上面的账号密码替换掉。

6、配置集群其它节点

    第5步如果验证成功后，可以把该实例的整个ES程序及配置打包copy到其它节点上，然后再修改elasticsearch.yml配置，重点是把节点名称及节点IP配置信息修改好，改好后直接启动该节点ES。

注意启动时观察日志是否有异常信息。 

7、集群验证

    当启动第二个节点后最好先验证节点是否已经加到集群里了，如果未成功加入集群说明搭建方法出现了问题，此时需要先把问题解决掉再进行后续的集群搭建。

 节点启动成功并不代表集群搭建就是成功后的，我们可以用以下两种方式来组合验证集群是否成功搭建:

  • 1、使用系统命令查看集群节点数量 

curl -XGET -u elastic:password http://127.0.0.1:9200/_cluster/health?pretty"

 如果此时集群中有三个节点，执行以上操作后也返回了节点数量为3，则说明节点都已成功加入了集群。

  • 2、创建一个索引看集群中每个节点索引数据是否一致

    如果集群搭建成功，我们创建索引后ES集群会自动同步索引数据到所有的节点上，所以借助这点我们可以准确验证集群是否真正搭建成功。

    步骤： 

  • 1）首先在任意节点执行一个索引创建命令
curl -XPUT -u elastic:password "http://127.0.0.1:9200/test-index"

    以上创建了一个名为『test-index』的索引 

  • 2) 查看其它节点索引是否一致

  • curl -XGET -u elastic:password  "http://localhost:9200/_cat/indices?pretty"

     分别在每个节点执行以上命令看所有节点是否返回一致，如果集群搭建正常，在任意一个节点创建索引后都会自动同步到其它节点，如果返回不一致则认为集群搭建的是有问题的。

如果以上验证成功后，其它节点重复5、6步即可。

    

四、集群配置优化

1、关闭索引自动创建

  • 待es集群搭建完启动成功后，执行以下命令可以关闭索引自动创建功能，当然也可以不关闭，不关闭的话，在程序中调用ES Api保存数据时候如果索引不存在则会自动创建索引，线上环境可能会带来一些安全问题，所以尽量还是关闭由专门负责人统一来管理索引维护。

    PUT _cluster/settings
{"persistent": {"action.auto_create_index": "false" }
}

    以上命令是在kibana中执行

     注：如果后续装x-pak,可能需要修改 action.auto_create_index 值

   

2、修改es集群索引默认分片数

     7.x版本默认是1分片1备份，集群场景下1分片会完全不能发挥集群性能，所以需要设置一下默认分片数量，具体设置多少可以根据节点数，比如按2n来设置，3个节点，分片数可以设置为6。 

副本数1即可。

PUT _template/template_http_request_record
{"index_patterns": ["*"],"settings": {"number_of_shards": 6,"number_of_replicas": 1}
}

      index_patterns = * 代表对所有索引生效

      number_of_shards 是索引主分片数.

      number_of_replicas 是备份数量.

  

  • ES集群模式数据分布原理

一个ES集群至少有一个节点，一个节点就是一个 elasricsearch 进程，每个节点可以有多个索引，如果创建索引时设置为5个分片，一个副本，那么索引数据将会均匀划分到 5 个分片上 (primary shard，又称主分片)，每个分片有一个副本(replica shard，又称复制分片)。为了保证数据的稳定性es会把某个分片及副本存储在不同的实例上。

希望本文能帮助顺利完成ES集群搭建

往期文章

Elasticsearch入门必读指南：到底选择哪个ES版本更合适

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/656919.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

防御保护 笔记整理

防御保护 笔记整理

一、ASPF--- 针对应用层的包过滤 ASPF --- 针对应用层的包过滤 --- 用来抓取多通道协议中协商端口的关键数据包，之后，将端 口算出，将结果记录在sever-map表中，相当于开辟了一条隐形的通道。 FTP --- 文件传输协议 FTP协议是一个典…
阅读更多...
NPDP认证：产品经理的国际专业认证

NPDP认证：产品经理的国际专业认证

你是否想证明自己在产品开发与管理方面的专业能力？NPDP认证正是你需要的！🔥 NPDP认证，即产品经理国际资格认证，由美国产品开发与管理协会（PDMA）所发起，是全球公认的新产品开发专业认…
阅读更多...
Redis（九）集群（cluster）

Redis（九）集群（cluster）

文章目录 概述作用1. redis集群的槽位slot2. redis集群的分片3. 第1,2点的优势：**最大优势，方便扩缩容和数据分派查找**4. slot槽位映射，一般业界有3种解决方案第一种：哈希取余分区第二种：一致性哈希算法分区第三种&am…
阅读更多...
源码安装nginx并提供服务脚本

源码安装nginx并提供服务脚本

一、下载nginx ①官网复制下载链接 ②在Linux中下载 [rootopenEuler2 ~]# wget -c https://nginx.org/download/nginx-1.24.0.tar.gz 二、解压并指定路径 [rootopenEuler2 ~]# tar xf nginx-1.24.0.tar.gz -C /usr/local/src/ 三、安装依赖 dnf install -y gcc gcc-c mak…
阅读更多...
【Cesium】在着色器中计算片元的高程

【Cesium】在着色器中计算片元的高程

问题提出 有时候在 Cesium 上做一些效果时，需要知道片元的高程。而渲染是基于笛卡尔坐标的，没有高程这个概念。怎么在着色器中计算片元的高程呢？ 基本思路 通常做法是在着色器里对深度纹理采样，将片元的深度值转换为相机坐标。…
阅读更多...
一片带你熟练Git分支管理

一片带你熟练Git分支管理

📙 作者简介 ：RO-BERRY 📗 学习方向：致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 📒 日后方向 : 偏向于CPP开发以及大数据方向，欢迎各位关注，谢谢各位的支持 目录 1.理解分支2.创建分支…
阅读更多...
如何快速记忆小鹤双拼键位图？

如何快速记忆小鹤双拼键位图？

记忆方法：韵母表 图形 最常用字 韵母表：双拼的基础 图形：帮助新手快速联想回忆 最常用字：快速打字基础 一、单韵母（紫色方块） 一一对应如下表： 单韵母aoeiu、AOEIV 二、复韵母—箭矢型&am…
阅读更多...
几种常见编码器优缺点

几种常见编码器优缺点

目录 光电编码器 磁性编码器 编码器在运动控制类产品中比较常见，旋转编码器都是组成运动控制反馈回路的关键元器件，包括工业自动化设备和过程控制、机器人技术、医疗设备、能源、航空航天等。 作为将机械运动转换为电信号的器件，编码器可为…
阅读更多...
ASP.NET Core 使用 SignalR 的简单示例

ASP.NET Core 使用 SignalR 的简单示例

写在前面 ASP.NET SignalR 是一个开源代码库，简化了Web实时通讯方案，可以实时地通过服务端将信息同步推送到各个客户端，可应用于 需要从服务器进行高频更新的应用：包括游戏、社交网络、投票、拍卖、地图和GPS应用； 仪…
阅读更多...
excel中去掉单元格中两个数字之间的空格

excel中去掉单元格中两个数字之间的空格

excel中去掉单元格中两个数字之间的空格 使用公式：SUBSTITUTE(A1," “,”") 解释：将A1单元格中的空格查找出来并去掉。
阅读更多...
python_蓝桥杯刷题记录_笔记_入门2

python_蓝桥杯刷题记录_笔记_入门2

前言 现在正式进入蓝桥杯的刷题啦，用python来做算法题，因为我之前其实都是用C来做题的，但是今年的话我打算换python来试试，很明显因为也才这学期接触python 加上之前C做题也比较菜，所以我打算用python重新来做题&#…
阅读更多...
Nginx 部署指定文件夹下的项目（本地测试）

Nginx 部署指定文件夹下的项目（本地测试）

1、配置 vue.config.js，指定生成环境的包 //部署生产环境和开发环境下的URLpublicPath: process.env.NODE_ENV production ? "/marketing" : "/",///npm run build 或 varn build 生成文件的日录名称(要利baseUrl的牛产环境路一致)(默认dist…
阅读更多...
每日一言正能量句子，心灵鸡汤之励志文案

每日一言正能量句子，心灵鸡汤之励志文案

1、相信自我是成功的基石，完善自我是成功的阶梯，突破自我是成功的钥匙，合谋共处是成功的翅膀，确立目标是成功的起点，付注行动是成功的号角！ 2、所有的努力，不是为了让别人觉得你了不起&#xf…
阅读更多...
C系列-自定义类型：结构体

C系列-自定义类型：结构体

🌈个人主页: 会编程的果子君 ​💫个人格言:“成为自己未来的主人~” 结构体类型的声明 前面我们在学习操作符的时候，已经学习了结构体的知识，这里我们稍微复习一下。 结构体回顾 结构是一些值的集合，这些值称为成员…
阅读更多...
【linux】磁盘相关命令fdisk/lsblk和file

【linux】磁盘相关命令fdisk/lsblk和file

1. fdisk 磁盘分区，查看系统分区。 fdisk 的意思是 固定磁盘(Fixed Disk) 或 格式化磁盘(Format Disk)，它是命令行下允许用户对分区进行查看、创建、调整大小、删除、移动和复制的工具。它支持 MBR、Sun、SGI、BSD 分区表，但是它不支持 GUI…
阅读更多...
Docker 数据管理、容器互联、网络与资源控制

Docker 数据管理、容器互联、网络与资源控制

一、docker数据管理 管理 Docker 容器中数据主要有两种方式：数据卷(Data volumes)和数据卷容器(Datavolumes containers)。 1、数据卷 数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷上，对数据卷的修改操作立…
阅读更多...
Prometheus 容器化部署

Prometheus 容器化部署

实验部署 工作中是基于kube-api的自动发现 1、创建账户绑定集群 kubectl create serviceaccount monitor -n monitor-sa #创建账户 kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrolecluster-admin --serviceaccountmonitor-sa:…
阅读更多...
FileViewer纯前端预览项目Vue2 demo

FileViewer纯前端预览项目Vue2 demo

FileViewer 项目Vue2 demo 本demo基于vue-clijsvue2.x构建，如果您需要vue3版本的demo，请前往main分支。 适用于Vue2 Webpack，本集成方法要求最低Webpack版本为5，也就是Vue Cli Service 5.0.0以上，当然，if…
阅读更多...
13.前端--CSS-盒子模型

13.前端--CSS-盒子模型

1.盒子模型的组成 CSS 盒子模型本质上是一个盒子，封装周围的 HTML 元素，它包括：边框、外边距、内边距、和 实际内容 2.边框（border） 2.1 边框的使用 1、border设置元素的边框。边框有三部分组成:边框宽度(粗细) 边框…
阅读更多...
国网四川宜宾供电公司：基于“RPA+AI”融合技术的电网设备隐患缺陷智能化识别应用

国网四川宜宾供电公司：基于“RPA+AI”融合技术的电网设备隐患缺陷智能化识别应用

推荐单位：国网四川省电力公司宜宾供电公司 本文作者：杨鑫、唐龙、钟睿、李小航、孙雪冬 摘 要：为推进电力企业生产业务数字化转型，提高基层班组数字化运维水平。本文通过一线班组对变电站视频巡视、设备故障判断应用场景需求分析…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023