Elastisearch集群（单节点）

目录

一、文件下载

二、创建linux es用户

三、上传、解压canal、es、kibana

四、配置es通讯证书（生成证书给es配置使用）

五、配置elastisearch

六、修改系统配置

七、添加ik分词器支持（可选）

八、给文件赋值权限

九、设置密码

十、启动

十一、测试

一、文件下载

  1. canal.adapter-1.1.5
  2. canal.deployer-1.1.5
  3. canal.admin-1.1.5
  4. elasticsearch-7.9.0
  5. kibana-7.9.0
  6. elasticsearch-analysis-ik-7.9.0.zip

二、创建linux es用户

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户。

#新增 es-cluster 用户
useradd es-cluster 
#为 es-cluster 用户设置密码
passwd es-cluster 
#如果错了，可以删除再加
userdel -r es-cluster
#文件夹所有者
chown -R es-cluster:es-cluster /data/es-cluster

 三、上传、解压canal、es、kibana到linux目录/data/soft/es-cluster下

## 解压文件到指定文件夹： 
tar -zxvf xx.tar.gz -C /data/soft/es-cluster

把解压的elasticsearch-7.9.0，复制两份（一主二从），复制到 /data/soft/es-cluster/es-node，分别命名为elasticsearch-7.9.0-node-1、elasticsearch-7.9.0-node-2、elasticsearch-7.9.0-node-3

 

四、配置es通讯证书（生成证书给es配置使用）

  • 进到 /data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-1/bin目录下，执行以下代码生成ca证书，默认生成的ca默认放在es根目录ca.zip
./elasticsearch-certutil ca --pem --out ca.zip --days 365000 -s
  • 解压ca.zip到 es根目录/ca (命令unzip ca.zip)，里边有两个文件ca.key、ca.crt。
  • 进到 /data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-1/bin目录下，执行以下命令，生成za.test.zip文件
./elasticsearch-certutil cert --ca-cert ca/ca.crt --ca-key ca/ca.key --pem --name za-test --out za-test.zip --days 365000 -s
  • 解压za.test.zip文件，把这个文件里的所有文件分别复制到/data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-1/config/certs、data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-2/config/certs、data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-3/config/certs下(没有certs目录,自己建一个)
  • 查看证书有效期：
openssl x509 -in ca.crt -noout -dates

五、配置elastisearch

修改es配置文件 /data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-1/config/elasticsearch.yml

#集群名称(随便起，但是需要跟其他两个节点保持一致)
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-1
#ip 地址，每个节点的地址不能重复(填localhost访问不了)
network.host: 111.111.11.111
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9201
transport.tcp.port: 9301
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master.(子节点不需要配置)
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现（localhost节点没法找到主节点，无法加入集群）。因为是在同一台机器搭建集群，所以用端口区分，如果在不同的机器，可以保持端口一致。
discovery.seed_hosts: ["111.111.111.11:9301","111.111.111.11:9302","111.111.11.111:9303"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
#索引自動創建
action.auto_create_index: +first*,-canal_*,+.watches*,+.triggered_watches,+.watcher-history-*,+.kibana*,+.ilm*,+.tasks*,+.apm*
#配置密碼(开始密码校验，下边的验证模式使用certificate，然后配置上边第四点生成的ca证书
xpack.security.enabled: true
#xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: certs/za-test.key
xpack.security.transport.ssl.certificate: certs/za-test.crt
xpack.security.transport.ssl.certificate_authorities: certs/ca.crt

复制该配置到elasticsearch-7.9.0-node-2下，替换config/elasticsearch.yml文件。替换后做以下修改：

#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-2
#ip 地址，每个节点的地址不能重复（根据实际填写）
network.host: 111.111.11.111
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9202
transport.tcp.port: 9302
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
#cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["111.111.11.111:9301","111.111.11.111:9302","111.111.11.111:9303"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
action.auto_create_index: +first*,-canal_*,+.watches*,+.triggered_watches,+.watcher-history-*,+.kibana*,+.ilm*,+.tasks*,+.apm*#配置密碼
xpack.security.enabled: true
#xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: certs/za-test.key
xpack.security.transport.ssl.certificate: certs/za-test.crt
xpack.security.transport.ssl.certificate_authorities: certs/ca.crt

data/soft/es-cluster/es-node/elasticsearch-7.9.0-node-3，修改同理。

六、修改系统配置

  • 修改/etc/security/limits.conf
# 注：* 带表 Linux 所有用户名称
* soft nofile 65535
* hard nofile 65535
或者（指定用户）
es-cluster soft nofile 65535
es-cluster hard nofile 65535
  • 修改/etc/security/limits.d/20-nproc.conf
es-cluster soft nofile 65536
es-cluster hard nofile 65536
* hard nproc 4096
  • 修改/etc/sysctl.conf
# 在文件中增加下面内容
vm.max_map_count=655360

重新加载配置

sysctl -p 

七、添加ik分词器支持（可选）

解压elasticsearch-analysis-ik-7.9.0.zip文件到 ES 根目录下的 plugins 目录下，重启 ES 即可使用。

使用ik分词器（放进去后，需要用root用户执行：chown -R es-cluster:es-cluster /data/soft/es-cluster）
如果某些内容需要自定义分词效果，可以进行以下操作：
    首先进入 ES 根目录中的 plugins 文件夹下的 ik 文件夹，进入 config 目录，创建 custom.dic
    文件，写入你想要自定义分词的 词组。同时打开 IKAnalyzer.cfg.xml 文件，将新建的custom.dic配置其中，重启 ES 服务器。
ik分词器使用：
    GET http://localhost:9200/_analyze
    {
    "text":"测试单词",
    "analyzer":"ik_max_word"
    }
   或者在映射时候指定。

八、给文件赋值权限

# 文件夹所有者
chown -R es-cluster:es-cluster /data/es-cluster

切换es-cluster用户：

su es-cluster

依次启动es（注意：首次启动，因为没有log文件，报错，暂停，切换root执行：chown -R es-cluster:es-cluster /data/soft/es-cluster，在切换回es用户启动即可）

九、设置密码
    在bin目录下执行：./elasticsearch-setup-passwords interactive
    依次设置密码：es123456

十、启动
# 启动

bin/elasticsearch

# 后台启动

bin/elasticsearch -d

十一、测试 
浏览器访问：111.111.11.111:9201/_cat/nodes

如果没法访问，开放防火墙端口

firewall-cmd --zone=public --add-port=9201/tcp --permanent
firewall-cmd --reload

# 查看端口使用情况

netstat -ntlp   //查看当前所有tcp端口·
netstat -ntulp |grep 8888   //查看所有1935端口使用情况·

第二章：安装kibana（待放置链接）

第三章：canal搭建（待放置链接）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/856849.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

比较Freemaker和Nuxt.js作为CMS模板语言的特点

比较Freemaker和Nuxt.js作为CMS模板语言的特点

在开发内容管理系统（CMS）时，选择合适的模板语言至关重要。本文将讨论Freemarker和Nuxt.js这两种常用模板语言的特点，以帮助开发者选择最适合其项目需求的工具。 Freemarker的特点 Freemarker是一个基于Java的模板引擎&#xff0…
阅读更多...
71-TCP协议工作原理及实战

71-TCP协议工作原理及实战

一 服务器端 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include <QTcpServer> // 专门用于建立TCP连接并传输数据信息 #include <QtNetwork> // 此模块提供开发TCP/IP客户端和服务器的类QT_BEGIN_NAMESPACE namespace Ui { class M…
阅读更多...
164万年后的日期解析引发的OOM

164万年后的日期解析引发的OOM

名词解释 商家销项发票业务&#xff08;平台给商家开票&#xff09;&#xff0c;是平台提供给商家的工具产品&#xff0c;商家购买了平台的服务&#xff0c;那么平台需要开票给商家。 前言 本文所描述的问题&#xff0c;是应用的OOM引发的接口成功率下跌&#xff0c;排查过程中…
阅读更多...
改进YOLO系列 | 谷歌团队 | CondConv：用于高效推理的条件参数化卷积

改进YOLO系列 | 谷歌团队 | CondConv：用于高效推理的条件参数化卷积

CondConv&#xff1a;用于高效推理的条件参数化卷积&#xff08;中文综述&#xff09; 简介 YOLO系列目标检测算法以其速度和精度著称&#xff0c;但其推理速度仍然存在提升空间。 谷歌团队提出的CondConv&#xff08;Conditional Parameterized Convolution&#xff09;是一…
阅读更多...
【LLM之NL2SQL】DAIL-SQL论文阅读笔记

【LLM之NL2SQL】DAIL-SQL论文阅读笔记

研究背景 该研究旨在提供一个全面、系统的评估框架&#xff0c;用于评估基于大型语言模型&#xff08;LLM&#xff09;的Text-to-SQL技术。特别强调了不同的提示工程策略的有效性和效率&#xff0c;以及开源LLM的可行性。研究的重点是评估在零样本和少样本场景下的不同问题表示…
阅读更多...
webgis 之 地图投影

webgis 之 地图投影

地图投影 什么是地图投影目的种类等角投影的分类墨卡托投影Web 墨卡托投影 参考小结 为了更好地展示地球上的数据&#xff0c;需要将地球投影到一个平面上。地图投影是一个数学问题&#xff0c;按照一定的几何关系&#xff0c;将地球上的经纬度坐标映射到一个平面上的坐标。地球…
阅读更多...
力扣hot100：（The Last one）287. 寻找重复数（快慢指针，静态链表）

力扣hot100：（The Last one）287. 寻找重复数（快慢指针，静态链表）

LeetCode&#xff1a;287. 寻找重复数 “暴力” 不懂技巧&#xff0c;那就暴力&#xff01; 哈希表&#xff1a; 时间复杂度&#xff1a; O ( n ) O(n) O(n) 这个题体现不出 O ( n ) O(n) O(n)的作用&#xff0c;因为 n < 100 n < 100 n<100 空间复杂度&…
阅读更多...
区块链技术介绍和用法

区块链技术介绍和用法

区块链技术是一种分布式账本技术&#xff0c;可以记录和存储一系列交易信息&#xff0c;并通过密码学算法保证信息的安全性和不可篡改性。区块链技术的核心概念是“区块”和“链”。 每个区块包含了一部分交易信息&#xff0c;以及一个指向上一个区块的哈希值。当新的交易发生…
阅读更多...
VirtualBox出错，从主机复制文件，乱改内容

VirtualBox出错，从主机复制文件，乱改内容

昨天烧录机器&#xff0c;测试对方更新的一个库&#xff1a; 开始正确。后来莫名其妙崩溃。反复烧了几次&#xff0c;都错误。复制了老版本的库&#xff0c;正常。再改回新版本&#xff0c;崩溃。 于是把整个打包目录给了对方&#xff0c;他一对比&#xff0c;发现文件不对&am…
阅读更多...
Windows应急响应靶机 - Web2

Windows应急响应靶机 - Web2

一、靶机介绍 应急响应靶机训练-Web2 前景需要&#xff1a;小李在某单位驻场值守&#xff0c;深夜12点&#xff0c;甲方已经回家了&#xff0c;小李刚偷偷摸鱼后&#xff0c;发现安全设备有告警&#xff0c;于是立刻停掉了机器开始排查。 这是他的服务器系统&#xff0c;请你…
阅读更多...
Springboot获取resources中的文件

Springboot获取resources中的文件

1.Springboot以文件的形式获取resources中的文件 import com.google.gson.JsonIOException; import com.google.gson.JsonObject; import com.google.gson.JsonParser; import com.google.gson.JsonSyntaxException; import org.springframework.util.ResourceUtils; import j…
阅读更多...
2024.6最新版eclipse下载与安装（汉化教程）超详细教程来咯！！！包懂的

2024.6最新版eclipse下载与安装（汉化教程）超详细教程来咯！！！包懂的

1.eclipse简介 Eclipse 是一个开放源代码的集成开发环境&#xff08;IDE&#xff09;&#xff0c;主要用于Java编程&#xff0c;但也可以通过插件支持其他编程语言&#xff0c;如C/C、Python、Perl等。Eclipse 被广泛应用于企业环境中&#xff0c;特别是在Java社区中&#xff0…
阅读更多...
PyMuPDF 操作手册 - 02 PDF 中图像的提取、插入、创建等

PyMuPDF 操作手册 - 02 PDF 中图像的提取、插入、创建等

文章目录 三、PDF 中提取和插入图像3.1 从 PDF 中提取图像3.2 提取矢量图形3.3 向 PDF 添加图像3.4 如何从文档页面制作图像3.5 如何提高图像分辨率3.6 如何创建局部像素贴图（剪辑）3.7 如何将剪辑缩放到 GUI 窗口3.8 如何创建或隐含注释图像3.9 如何提取图像：非 PDF 文档3.1…
阅读更多...
selenium常见难点解决方案

selenium常见难点解决方案

勾选框勾选问题 勾选框代码逻辑实现过程&#xff1a; 第一步&#xff1a;首先找到勾选框的元素&#xff1b; 第二步&#xff1a;检查它是否已经被勾选。如果已经勾选&#xff0c;则进行取消勾选操作&#xff1b;如果未勾选&#xff0c;则进行点击勾选操作&#xff1b; 以下是一…
阅读更多...
NGINX_十四 nginx 日志配置

NGINX_十四 nginx 日志配置

十四 nginx 日志配置 1 nginx 日志介绍 ​ nginx 有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_module 的支持&#xff0c;日志格式通过 log_format 命令来定义&#xff0c;日志对于统计和排错是非常有利的&#xff0c;…
阅读更多...
详解 ClickHouse 的 SQL 操作

详解 ClickHouse 的 SQL 操作

传统关系型数据库&#xff08;以 MySQL 为例&#xff09;的 SQL 语句&#xff0c;ClickHouse 基本都支持 一、插入 --语法&#xff1a; insert into table_name values(xxxxxx),(yyyyyyy),...;insert into table_name select xxxxx from table_name2 where yyyyy;二、更新和删…
阅读更多...
代码随想录算法训练营第41天 [01背包的理论基础，二维数组解法，一维数组解法，416. 分割等和子集]

代码随想录算法训练营第41天 [01背包的理论基础，二维数组解法，一维数组解法，416. 分割等和子集]

代码随想录算法训练营第41天 [01背包的理论基础&#xff0c;二维数组解法&#xff0c;一维数组解法&#xff0c;416. 分割等和子集] 一、01背包的二维数组解法 链接: 代码随想录. 思路&#xff1a;dp数组, dp[i][j]代表行李箱空间为j的情况下,从下标为[0, i]的物品里面任意取,能…
阅读更多...
本次刷题的错题模版分析-2024年6月21日

本次刷题的错题模版分析-2024年6月21日

对于错题进行分析是一个非常好的学习习惯&#xff0c;这有助于你理解自己的错误并避免将来再次犯同样的错误。以下是一个错题分析的模板&#xff0c;你可以根据自己的需要进行调整&#xff1a; 1. 错题记录 题目&#xff1a;[下列关于数组运算的描述错误的是( )。 在NumPy中&am…
阅读更多...
C# —— 属性和字段

C# —— 属性和字段

属性和字段的区别 1.都是定义在一个类中&#xff0c;属于类成员变量 2.字段一般都是私有的private&#xff0c;属性一般是公开的Public 3.字段以小驼峰命名方式 age&#xff0c;属性一般是以大驼峰命名 Age 4.字段可以存储数据&#xff0c;属性不能存储数据&#xff0c;通过属性…
阅读更多...
audacity音频处理

audacity音频处理

1.安装 Audacity | Free Audio editor, recorder, music making and more! 添加OpenVINO插件: https://zhuanlan.zhihu.com/p/676542556 2.使用 2.1注意事项 1.编辑音频,点击左上方打开或导入都可以;打开视频文件则需要安装ffmpeg模块,打开后只显示视频中的音频信息; 2.编辑…
阅读更多...
最新文章

Copyright @ 2022~2023