26-ES集群搭建、身份认证配置

虚机搭建

添加es用户

elasticsearch 默认不允许root用户启动，所以需要创建es用户

useradd elasticsearch
passwd elasticsearch

解压安装包

#解压es
tar -xvzf elasticsearch-7.14.2-linux-x86_64.tar.gz

将文件夹赋予es用户权限

#将文件夹赋予es用户权限
sudo chown -R elasticsearch:elasticsearch /opt/elasticsearch-7.14.2/

elasticsearch文件

elasticsearch.yml

cluster.name: es-cluster
#设置节点名称，集群内节点名称必须唯一。
node.name: node1
#表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
#当前节点是否用于存储数据，是：true、否：false
node.data: true
#索引数据存放的位置
path.data: /usr/share/elasticsearch/data
#日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
#需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
#监听地址，用于访问该es
network.host: 0.0.0.0
#es对外提供的http端口，默认 9200
http.port: 9200
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["node1ip:9300", "node2ip:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node1ip:9300", "node2ip:9300"]
#cluster.initial_master_nodes: ["node1"]
#是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
#“*” 表示支持所有域名
http.cors.allow-origin: "*"##############
cluster.name: es-cluster
#设置节点名称，集群内节点名称必须唯一。
node.name: node2
#表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
#当前节点是否用于存储数据，是：true、否：false
node.data: true
#索引数据存放的位置
path.data: /usr/share/elasticsearch/data
#日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
#需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
#监听地址，用于访问该es
network.host: 0.0.0.0
#es对外提供的http端口，默认 9200
http.port: 9200
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["node1ip:9300", "node2ip:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node1ip:9300", "node2ip:9300"]
#cluster.initial_master_nodes: ["node1"]
#是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
#“*” 表示支持所有域名
http.cors.allow-origin: "*"

启动es集群

#前置环境(es启动需要最小内存4G，否则无法启动，OOM)
#通过修改机器进程虚拟内存可启动es

vim /etc/sysctl.conf
#fs.file-max主要是配置系统最大打开文件描述符数，建议修改为655360或者更高
fs.file-max=655360
#影响Java线程数量，用于限制一个进程可以拥有的VMA(虚拟内存区域)的大小
vm.max_map_count = 262144#生效
sysctl -p

设置安全认证

es配置文件添加认证

新增配置，每个集群节点都需要设置。

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: "elastic-certificates.p12"
xpack.security.transport.ssl.truststore.path: "elastic-certificates.p12"

生成TLS 和身份验证

将会在config下生成elastic-certificates.p12文件，将此文件传到其他两个节点的config目录

注意文件权限

bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""chmod 644 /data/elasticsearch/config/elastic-certificates.p12
#sudo chmod 777 /data/elasticsearch/config/elastic-stack-ca.p12

启动集群

es 集群不启动，下面的添加密码操作执行不了。

设置密码

在主节点上执行就行，数据会自动同步到其他节点

#启动es，之后执行
./bin/elasticsearch-setup-passwords interactive

springboot访问

@Override@Beanpublic RestHighLevelClient elasticsearchClient (){final ClientConfiguration clientConfiguration =ClientConfiguration.builder().connectedTo(esUrl).withBasicAuth("elastic", "elastic").build();return RestClients.create(clientConfiguration).rest();}

docker 搭建ES集群

docker安装

sudo yum install docker
sudo systemctl start docker
sudo systemctl enable docker
sudo docker info

下载镜像

sudo docker pull elasticsearch:7.14.2
#docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.2

创建数据挂载外链

mkdir -p /data/elasticsearch/data && mkdir -p /data/elasticsearch/config && mkdir -p /data/elasticsearch/logs && mkdir -p /data/elasticsearch/plugins

elasticsearch文件

cluster.name: es-cluster
#设置节点名称，集群内节点名称必须唯一。
node.name: node1
#表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
#当前节点是否用于存储数据，是：true、否：false
#node.data: true
#索引数据存放的位置
path.data: /usr/share/elasticsearch/data
#日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
#需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
#监听地址，用于访问该es
network.host: 0.0.0.0
#es对外提供的http端口，默认 9200
http.port: 9200
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["node1ip:9300", "node2ip:9300","node3ip:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node1ip:9300", "node2ip:9300","node3ip:9300"]
#cluster.initial_master_nodes: ["node1"]
#是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
#“*” 表示支持所有域名
http.cors.allow-origin: "*"
xpack.security.enabled: false######################
cluster.name: es-cluster
#设置节点名称，集群内节点名称必须唯一。
node.name: node2
#表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
#当前节点是否用于存储数据，是：true、否：false
node.data: true
#索引数据存放的位置
path.data: /usr/share/elasticsearch/data
#日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
#需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
#监听地址，用于访问该es
network.host: 0.0.0.0
#es对外提供的http端口，默认 9200
http.port: 9200
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["node1ip:9300", "node2ip:9300","node3ip:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node1ip:9300", "node2ip:9300","node3ip:9300"]
cluster.initial_master_nodes: ["node1"]
#是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
#“*” 表示支持所有域名
http.cors.allow-origin: "*"
xpack.security.enabled: false

启动es集群

docker run -d --network=host --privileged=true \
-e ES_JAVA_OPTS="-Xms2g -Xmx2g" \
-e TAKE_FILE_OWNERSHIP=true --name es \
-v /data/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  \
-v /data/elasticsearch/data:/usr/share/elasticsearch/data  \
-v /data/elasticsearch/logs:/usr/share/elasticsearch/logs  \
-v /data/elasticsearch/plugins:/usr/share/elasticsearch/plugins  \
--restart unless-stopped elasticsearch:7.14.2#elasticsearch:7.14.2或者已下载好的镜像docker.elastic.co/elasticsearch/elasticsearch:7.14.2 #参数解释
-d：将容器以后台模式（detached mode）运行。
--network=host：使用主机网络模式，容器与主机共享网络命名空间。
--privileged=true：为容器提供特权访问，允许容器内部进行特权操作。
-e ES_JAVA_OPTS="-Xms2g -Xmx2g"：设置 Elasticsearch Java 虚拟机 (JVM) 的启动参数，其中 -Xms2g 是最小堆内存大小，-Xmx2g 是最大堆内存大小。
-e TAKE_FILE_OWNERSHIP=true：指示 Elasticsearch 在启动时获取文件所有权。
--name es：为容器指定一个名称为 "es"。
-v:将主机上的 Elasticsearch 配置文件挂载到容器内部
--restart unless-stopped：在容器退出时自动重启容器，除非手动停止容器。

设置安全验证

es配置文件添加认证

新增配置，每个集群节点都需要设置。

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: "elastic-certificates.p12"
xpack.security.transport.ssl.truststore.path: "elastic-certificates.p12"

生成TLS 和身份验证

进入docker

docker exec -it id bash

生成证书

bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""chmod 644 /data/elasticsearch/config/elastic-certificates.p12
#sudo chmod 777 /data/elasticsearch/config/elastic-stack-ca.p12

将证书同步到其他节点

#复制证书到外链目录
docker cp df3552171cf0:/usr/share/elasticsearch/config/elastic-certificates.p12 ./config/elastic-certificates.p12#scp到其他节点
scp ./config/elastic-certificates.p12 user@ip:/dir

启动集群

es 集群不启动，下面的添加密码操作执行不了。

需挂载证书

docker run -d --network=host --privileged=true \
-e ES_JAVA_OPTS="-Xms2g -Xmx2g" \
-e TAKE_FILE_OWNERSHIP=true --name es \
-v /data/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  \
-v /data/elasticsearch/config/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12  \
-v /data/elasticsearch/data:/usr/share/elasticsearch/data  \
-v /data/elasticsearch/logs:/usr/share/elasticsearch/logs  \
-v /data/elasticsearch/plugins:/usr/share/elasticsearch/plugins  \
--restart unless-stopped elasticsearch:7.14.2

设置密码

在主节点上执行就行，数据会自动同步到其他节点

#进入docker#设置密码
./bin/elasticsearch-setup-passwords interactive

访问es

curl -user elastic http://10.100.31.170:9200/_cluster/health

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/60788.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

OpenHarmony的公共事件

OpenHarmony的公共事件

OpenHarmony的公共事件 公共事件简介 CES（Common Event Service，公共事件服务）为应用程序提供订阅、发布、退订公共事件的能力。 公共事件分类 公共事件从系统角度可分为：系统公共事件和自定义公共事件。 系统公共事件&#…
阅读更多...
【AlphaFold3】开源本地的安装及使用

【AlphaFold3】开源本地的安装及使用

文章目录 安装安装DockerInstalling Docker on Host启用Rootless Docker 安装 GPU 支持安装 NVIDIA 驱动程序安装 NVIDIA 对 Docker 的支持 获取 AlphaFold 3 源代码获取基因数据库获取模型参数构建将运行 AlphaFold 3 的 Docker 容器 参考 AlphaFold3: https://github.com/goo…
阅读更多...
npm list -g --depth=0（用来列出全局安装的所有 npm 软件包而不显示它们的依赖项）

npm list -g --depth=0（用来列出全局安装的所有 npm 软件包而不显示它们的依赖项）

您提供的命令 npm list -g --depth0 是在 Node Package Manager (npm) 的上下文中使用的，用来列出全局安装的所有 npm 软件包而不显示它们的依赖项。 这是它的运作方式： npm list -g --depth0-g: 指定列表应包括全局安装的软件包。--depth0: 限制树形结…
阅读更多...
Spring Boot框架：电商系统的技术革新

Spring Boot框架：电商系统的技术革新

4 系统设计 网上商城系统的设计方案比如功能框架的设计，比如数据库的设计的好坏也就决定了该系统在开发层面是否高效，以及在系统维护层面是否容易维护和升级，因为在系统实现阶段是需要考虑用户的所有需求，要是在设计阶段没有经过全…
阅读更多...
【数据分享】中国对外投资合作发展报告（2013-2023）

【数据分享】中国对外投资合作发展报告（2013-2023）

数据介绍 绪 论............................................................................................................................. 1 对外投资合作高质量发展迈出新步伐................................................................... 2 第一篇 发…
阅读更多...
【深度学习】LSTM、BiLSTM详解

【深度学习】LSTM、BiLSTM详解

文章目录 1. LSTM简介：2. LSTM结构图：3. 单层LSTM详解4. 双层LSTM详解5. BiLSTM6. Pytorch实现LSTM示例7. nn.LSTM参数详解 1. LSTM简介： LSTM是一种循环神经网络，它可以处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM通…
阅读更多...
【云原生系列--Longhorn的部署】

【云原生系列--Longhorn的部署】

Longhorn部署手册 1.部署longhorn longhorn架构图： 1.1部署环境要求 kubernetes版本要大于v1.21 每个节点都必须装open-iscsi ，Longhorn依赖于 iscsiadm主机为 Kubernetes 提供持久卷。 apt-get install -y open-iscsiRWX 支持要求每个节点都安装 N…
阅读更多...
【Hadoop】【hdfs】【大数据技术基础】实验三 HDFS 基础编程实验

【Hadoop】【hdfs】【大数据技术基础】实验三 HDFS 基础编程实验

实验三： HDFS Java API编程实践 实验题目 HDFS Java API编程实践 实验目的 熟悉HDFS操作常用的Java API。 实验平台 操作系统：Linux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 实验…
阅读更多...
ssm114基于SSM框架的网上拍卖系统的设计与实现+vue(论文+源码)_kaic

ssm114基于SSM框架的网上拍卖系统的设计与实现+vue(论文+源码)_kaic

摘 要 随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势，商品拍卖当然也不能排除在外，随着商品拍卖管理的不断成熟，它彻底改变了过去传统的经营管理方式，不仅使商品…
阅读更多...
Transformer中的算子：其中Q,K，V就是算子

Transformer中的算子：其中Q,K，V就是算子

目录 Transformer中的算子 其中Q,K，V就是算子 一、数学中的算子 二、计算机科学中的算子 三、深度学习中的算子 四、称呼的由来 Transformer中的算子 其中Q,K，V就是算子 “算子”这一称呼源于其在数学、计算机科学以及深度学习等多个领域中的广泛应用和特定功能。以下是…
阅读更多...
厦大南洋理工最新开源，一种面向户外场景的特征-几何一致性无监督点云配准方法

厦大南洋理工最新开源，一种面向户外场景的特征-几何一致性无监督点云配准方法

导读 本文提出了INTEGER，一种面向户外点云数据的无监督配准方法，通过整合高层上下文和低层几何特征信息来生成更可靠的伪标签。该方法基于教师-学生框架，创新性地引入特征-几何一致性挖掘（FGCM）模块以提高伪标签的准确…
阅读更多...
生产环境中AI调用的优化：AI网关高价值应用实践

生产环境中AI调用的优化：AI网关高价值应用实践

随着越来越多的组织将生成式AI引入生产环境，他们面临的挑战已经超出了初步实施的范畴。如果管理不当，扩展性限制、安全漏洞和性能瓶颈可能会阻碍AI应用的推广。实际问题如用户数据的安全性、固定容量限制、成本管理和延迟优化等，需要创新的解…
阅读更多...
Redis 概 述 和 安 装

Redis 概 述 和 安 装

安 装 r e d i s: 1. 下 载 r e dis h t t p s : / / d o w n l o a d . r e d i s . i o / r e l e a s e s / 2. 将 redis 安装包拷贝到 /opt/ 目录 3. 解压 tar -zvxf redis-6.2.1.tar.gz 4. 安装gcc yum install gcc 5. 进入目录 cd redis-6.2.1 6. 编译 make …
阅读更多...
SpringBoot 2.2.10 无法执行Test单元测试

SpringBoot 2.2.10 无法执行Test单元测试

很早之前的项目今天clone现在，想执行一个业务订单的检查，该检查的代码放在test单元测试中，启动也是好好的，当点击对应的方法执行Test的时候就报错 tip：已添加spring-boot-test-starter 所以本身就引入了junit5的库 No…
阅读更多...
[项目代码] YOLOv5 铁路工人安全帽安全背心识别 [目标检测]

[项目代码] YOLOv5 铁路工人安全帽安全背心识别 [目标检测]

YOLOv5是一种单阶段（one-stage）检测算法，它将目标检测问题转化为一个回归问题，能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法（如Faster R-CNN），YOLOv5具有更高的…
阅读更多...
SIM Jacker攻击分析

SIM Jacker攻击分析

简介： 2019年9月12日，AdaptiveMobile Security公布了一种针对SIM卡ST Browser的远程攻击方式：Simjacker。攻击者使用普通手机发送特殊构造的短信即可远程定位目标，危害较大 。sim卡的使用在手机上的使用非常普遍，所以…
阅读更多...
【linux】centos7 换阿里云源

【linux】centos7 换阿里云源

相关文章 【linux】CentOS 的软件源（Repository）学习-CSDN博客 查看yum配置文件 yum的配置文件通常位于/etc/yum.repos.d/目录下。你可以使用以下命令查看这些文件： ls /etc/yum.repos.d/ # 或者 ll /etc/yum.repos.d/备份当前的yum配置文…
阅读更多...
AI 写作（八）实战项目一：自动写作助手（8/10）

AI 写作（八）实战项目一：自动写作助手（8/10）

一、项目背景与需求分析 （一）写作需求的多样化 在互联网普及的今天，人们对写作的需求呈现出前所未有的多样化态势。无论是学术论文、新闻报道，还是社交媒体的动态更新、网络小说的创作，都离不开高质量的写作。以学术研…
阅读更多...
微信小程序内嵌h5页面（uniapp写的），使用uni.openLocation无法打开页面问题

微信小程序内嵌h5页面（uniapp写的），使用uni.openLocation无法打开页面问题

1.问题 微信小程序内嵌h5页面（uniapp写的），使用uni.openLocation打开地图页面后，点击该页面下方“到这里”按钮，显示无法打开。如下图： 3.解决方案 在内嵌h5中不使用uniapp的api打开地图，而在h5页面事件处理程序中去跳转新的小程序页面，在该新页面去使用微信小程序…
阅读更多...
SpringCloud核心组件(五)

SpringCloud核心组件(五)

文章目录 Gateway一. 概述简介1. Gateway 是什么2. 什么是网关?3.Gateway 和 Nginx 两个网关的区别什么是流量入口？ 4.Gateway 能干嘛5.gateway 三大核心概念6.运行方式 二. 入门案例a.创建gateway模块，在pom.xml中引入依赖b.创建启动类GatewayApplicat…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023