elasticsearch介绍和部署

1 elasticsearch介绍

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。可以很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
Elasticsearch是与Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就不能更改主分片的数量。

2 ES相关的术语介绍

在这里插入图片描述

**index：**也叫索引，一个索引最少要有一个分片。指的是逻辑的存储和读取单元。一个索引也可以叫做1个文档名

**shard：**分片，用于实际存储数据信息。索引数据可以分布到集群中的不同节点，每个索引可以分为多个分片。分片可以提高数据存储和查询的效率

**replica：**副本，用于索引分片冗余，以及提高数据的可靠性和查询性能。副本可以分布在不同的节点上，确保即使某些节点故障，数据也不会丢失

**primary shard：**主分片，负责数据的读写

**replica shard：**副本分片，从primary shard同步数据且，负责读的负载均衡。也就是说读数据时，会往多个副本读取。

**allocation：**把索引的不同分片分配到整个集群的过程

**document：**文档，用于的实际数据的载体，分为元数据和源数据

  • 源数据：指的是用户实际的存储。数据存储在"_source"字段中

  • 元数据：用于描述数据的数据，比如_index,_id,_type,_source

ES集群颜色和含义：

  • green代表所有的主分片和副本分片都正常访问

  • yellow代码部分副本分片无法访问

    • 例如，副本数量大于集群数量。导致没有可用节点分配

  • red代表部分主分片无法访问

ES相关端口：

  • 9200，支持http|https协议，对外部提供服务访问
  • 9300，支持tcp协议，对内部ES集群进行数据传输

2 elasticsearch的安装

01 单点方式部署

IP主机名内存
10.0.0.091elk912G

提示：elasticsearch的deb安装包集成了java环境，因此安装包体积较大，也可以二进制部署，软件和java环境分开部署。

1.以7.17.22版本为例：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.22-amd64.deb

2.安装软件包

dpkg -i elasticsearch-7.17.22-amd64.deb

3.修改配置文件：vim /etc/elasticsearch/elasticsearch.yml 

# 指定集群的名称，每个ES集群的名称要唯一
17 cluster.name: wzy-com# 数据的存储路径，默认即可
33 path.data: /var/lib/elasticsearch# 日志的存储路径，默认即可
37 path.logs: /var/log/elasticsearch# 指定监听本地的地址，监听全部则写成 0.0.0.0
56 #network.host: 10.0.0.91# 对外的访问端口
http.port: 9200# 集群之间数据传输端口
61 #http.port: 9200# 部署集群为单点类型
discovery.type: "single-node"

简化的配置为：

[root@elk91~]# yy /etc/elasticsearch/elasticsearch.yml
cluster.name: wzy-com
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.type: "single-node"

3.启动es

systemctl restart elasticsearch.service[root@elk91~]# netstat -antlp | grep 9[23]00
tcp6       0      0 :::9300                 :::*                    LISTEN      3235/java           
tcp6       0      0 :::9200                 :::*                    LISTEN      3235/java

4.如果启动失败，就去看日志：/var/log/elasticsearch/wzy-com.log；或者journalctl -fu elasticsearch

5.访问es

[root@elk91~]# curl http://10.0.0.91:9200
{"name" : "elk91","cluster_name" : "wzy-com","cluster_uuid" : "ypPsMv8WQOmQZ3H1VSF-Xw","version" : {"number" : "7.17.22","build_flavor" : "default","build_type" : "deb","build_hash" : "38e9ca2e81304a821c50862dafab089ca863944b","build_date" : "2024-06-06T07:35:17.876121680Z","build_snapshot" : false,"lucene_version" : "8.11.3","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

6.卸载es

dpkg命令说明：

  • dpkg -r 卸载

  • dpkg -P 卸载并移除配置文件

卸载后再使用rm -rf /tmp*

02 集群方式部署

1.环境准备

IP地址主机名
10.0.0.91elk91
10.0.0.92elk92
10.0.0.93elk93
  • 所有节点设置正确的时间：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  • 安装ES软件

1.所有节点修改配置文件为：

cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: elk-wzy
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300# 配置ES集群的服务发现列表主机
discovery.seed_hosts: ["10.0.0.91","10.0.0.92","10.0.0.93"]# 配置ES集群启动时参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
EOF

最后启动es：systemctl enable elasticsearch --now

2.验证是否为集群还是脑裂。访问任意1个节点，看到主机列表为3个节点就是搭建成功了。否则卸载重新搭建

[root@elk91~]# curl -s 10.0.0.93:9200/_cat/nodes
10.0.0.91 29 96 5 0.66 0.53 0.44 cdfhilmrstw - elk91
10.0.0.93 25 96 2 0.60 0.43 0.22 cdfhilmrstw - elk93
10.0.0.92 48 96 3 0.47 0.57 0.32 cdfhilmrstw * elk92

# 卸载
systemctl disable elasticsearch --now
dpkg -P elasticsearch
rm -rf /tmp/* /var/{log,lib}/elasticsearch# 安装
dpkg -i elasticsearch-7.17.22-amd64.deb
cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: efk-wzy
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.seed_hosts: ["10.0.0.91","10.0.0.92","10.0.0.93"]
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
EOF
systemctl enable elasticsearch --now

03 ES的堆内存设置

此操作为可选项：

-Xms 和 -Xmx 是 JVM（Java 虚拟机）启动参数，用于设置堆内存（Heap Memory）的初始大小和最大大小。这两个参数直接影响 Java 应用的性能和内存管理。建议设置为主机内存的一半

修改 /etc/elasticsearch/jvm.options ，

...
-Xms4096m
-Xmx4096m
...

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/887123.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

智能安全配电装置在高校实验室中的应用

智能安全配电装置在高校实验室中的应用

​ 摘要&#xff1a;高校实验室是科研人员进行科学研究和实验的场所&#xff0c;通常会涉及到大量的仪器设备和电气设备。电气设备的使用不当或者维护不周可能会引发火灾事故。本文将以一起实验室电气火灾事故为例&#xff0c;对事故原因、危害程度以及防范措施进行分析和总结…
阅读更多...
大语言模型---Llama模型文件介绍；文件组成

大语言模型---Llama模型文件介绍；文件组成

文章目录 1. 概要2. 文件组成 1. 概要 在使用 LLaMA&#xff08;Large Language Model Meta AI&#xff09;权重时&#xff0c;通常会涉及到与模型权重存储和加载相关的文件。这些文件通常是以二进制格式存储的&#xff0c;具有特定的结构来支持高效的模型操作。以下以Llama-7…
阅读更多...
什么是GraphQL，有什么特点

什么是GraphQL，有什么特点

什么是GraphQL&#xff1f; GraphQL 是一种用于 API&#xff08;应用程序编程接口&#xff09;的查询语言&#xff0c;由 Facebook 在 2012 年开发&#xff0c;并于 2015 年开源。它提供了一种更高效、强大的方式来获取和操作数据&#xff0c;与传统的 RESTful API 相比&#…
阅读更多...
双指针算法详解：原理、应用场景及代码示例

双指针算法详解：原理、应用场景及代码示例

文章目录 双指针算法概述主要应用场景及实现思路1. 数组排序后的两数之和2. 链表中环的检测3. 滑动窗口4. 合并两个有序数组5. 移除数组中的重复元素 总结 双指针算法概述 原理&#xff1a; 双指针算法的核心在于使用两个指针遍历数据结构&#xff0c;而不是单个指针。这种方法…
阅读更多...
vue2-代理服务器插槽

vue2-代理服务器插槽

解决跨域问题 配置代理服务器 代理服务器位于前端应用(客户端)和真实的后端服务器之间。当配置了代理服务器后&#xff0c;前端应用的请求不再直接发送到后端服务器&#xff0c;而是发送到代理服务器。代理服务器在接收到请求后&#xff0c;会根据预先配置的规则将请求转发到真…
阅读更多...
12 —— Webpack中向前端注入环境变量

12 —— Webpack中向前端注入环境变量

需求&#xff1a;开发模式下打印语句生效&#xff0c;生产模式下打印语句失效 使用Webpack内置的DefinePlugin插件 const webpack require(webpack) module.exports { plugins: [ new webpack.DefinePlugin({ process.env.NODE_ENV:JSON.stringify(process.env.NODE_ENV) }…
阅读更多...
【vba源码】导入excel批注信息

【vba源码】导入excel批注信息

Hi&#xff0c;大家好呀&#xff01; 又到了一周一分享的时间&#xff0c;上周繁忙的我都没有给大家直播&#xff0c;视频也没更新&#xff0c;那这周大家放心&#xff0c;都会给大家更新&#xff0c;今天我们来讲点啥呢&#xff1f;每周找优质的内容给大家更新是我最最痛苦的…
阅读更多...
Java设计模式 —— Java七大设计原则详解

Java设计模式 —— Java七大设计原则详解

文章目录 前言一、单一职责原则1、概述2、案例演示 二、接口隔离原则1、概述2、案例演示 三、依赖倒转原则1、概述2、案例演示 四、里氏替换原则1、概述2、案例演示 五、开闭原则1、概述2、案例演示 六、迪米特法则1、概述2、案例演示 七、合成/聚合复用原则1、概述2、组合3、聚…
阅读更多...
服务器数据恢复—DS5300存储硬盘指示灯亮黄灯的数据恢复案例

服务器数据恢复—DS5300存储硬盘指示灯亮黄灯的数据恢复案例

服务器存储数据恢复环境&#xff1a; 某单位一台某品牌型号为DS5300的服务器存储&#xff0c;1个机头4个扩展柜&#xff0c;底层是2组分别由数十块硬盘组建的RAID5阵列。存储系统上层一共分了11个卷。 服务器存储故障&分析&#xff1a; 存储设备上一组raid5阵列上的2块磁盘…
阅读更多...
跨域资源共享 (CORS)

跨域资源共享 (CORS)

一、什么是跨域&#xff1f; 跨域是指浏览器发起的请求&#xff0c;其目标服务器与当前页面的来源&#xff08;域名、协议、端口&#xff09;不一致。例如&#xff1a; 同源请求&#xff1a; 页面和接口来源一致&#xff0c;比如&#xff1a; 页面地址&#xff1a;http://exa…
阅读更多...
资源控制器--laravel进阶篇

资源控制器--laravel进阶篇

laravel的控制器当中有个资源控制器，这个比较好用。 创建资源控制器 php artisan make:controller PhotoController --resource 创建个路由来使用该资源控制器 use App\Http\Controllers\PhotoController; Route::resource(photos, PhotoController::class); 隐式模型绑定不…
阅读更多...
Cloud Native 云原生后端的开发注意事项

Cloud Native 云原生后端的开发注意事项

在云原生后端开发里&#xff0c;数据管理和存储这块得好好弄。数据库选型得综合考虑&#xff0c;像关系型数据有复杂查询需求就选 MySQL、PostgreSQL&#xff0c;海量非结构化数据就可以考虑 MongoDB、Cassandra 这些。设计数据库得遵循规范化原则&#xff0c;像设计电商订单表…
阅读更多...
Mac vscode 激活列编辑模式

Mac vscode 激活列编辑模式

列编辑模式在批量处理多行文本时&#xff0c;非常有效&#xff0c;但 vscode 默认情况下&#xff0c;又没有激活&#xff0c;因此记录一下启动方法&#xff1a; 激活列编辑模式 然后就可以使用 Alt&#xff08;Mac 上是 Option 或 Command 键&#xff09; 鼠标左键 滑动选择了…
阅读更多...
c#使用高版本8.0步骤

c#使用高版本8.0步骤

一、找到项目所在怒路&#xff0c;记事本打开.proj文件。 二、记事本打开此文件&#xff0c;<PropertyGroup>后面加入如下语句&#xff1a; <LangVersion>8.0</LangVersion> 关闭并保存。 根据提示全部重新加载即可。
阅读更多...
【蓝桥杯C/C++】深入解析I/O高效性能优化：std::ios::sync_with_stdio(false)

【蓝桥杯C/C++】深入解析I/O高效性能优化：std::ios::sync_with_stdio(false)

博客主页&#xff1a; [小ᶻZ࿆] 本文专栏: 蓝桥杯C/C 文章目录 &#x1f4af;前言&#x1f4af;C 语言与 C 语言的输入输出对比1.1 C 语言的输入输出1.2 C 语言的输入输出 &#x1f4af; std::ios::sync_with_stdio(false) 的作用与意义2.1 什么是 std::ios::sync_with_st…
阅读更多...
OpenCV 计算图像清晰度

OpenCV 计算图像清晰度

文章目录 一、简介二、实现代码三、实现效果一、简介 我们往往怎么定义一个图像的清晰度呢，通常来讲一个图像的清晰度越高，其图像细节越丰富，也就是说我们通常可以通过图像的高频信息（如边缘或噪声）来衡量。OK，既然如此，这里可以使用 拉普拉斯算子（cv::Laplacian）先对…
阅读更多...
浏览器的事件循环机制

浏览器的事件循环机制

一、请简述浏览器的事件循环机制&#xff08;Event Loop&#xff09;基本原理 浏览器的事件循环机制是用于协调处理 JavaScript 中的异步任务与同步任务执行顺序的一种机制&#xff0c;它确保了代码能够按照合理的顺序执行&#xff0c;避免阻塞页面渲染等情况。其基本原理如下…
阅读更多...
Oracle-表空间/用户的创建与使用

Oracle-表空间/用户的创建与使用

-- 对象 -- 需要create的都是对象 已学的对象&#xff1a;表 table -- 普通用户 只能查询user开头的数据字典 select tablespace_name from user_tablespaces; -- dba用户才能够查询 select tablespace_name from dba_tablespaces; -- 创建表空间&#xff08;需要管理员…
阅读更多...
GaussDB 华为高斯数据库

GaussDB 华为高斯数据库

GaussDB 是华为推出的一款企业级分布式数据库&#xff0c;旨在为企业提供高效、可靠、安全的数据库服务。GaussDB 基于华为在数据库领域的多年积累&#xff0c;结合人工智能技术和分布式架构&#xff0c;支持多种场景的数据存储与管理需求&#xff0c;是云计算、大数据、人工智…
阅读更多...
【Word】一键批量引用论文上标——将正文字体改为上标格式

【Word】一键批量引用论文上标——将正文字体改为上标格式

【Word】一键批量引用论文上标——将正文字体改为上标格式 写在最前面Word一键批量引用论文上标技巧分享核心思路&#xff1a;Word 替换功能 通配符步骤详解1. 打开 Word 替换功能2. 输入通配符模式3. 设置替换格式为上标4. 批量替换 实际效果展示技巧扩展 &#x1f308;你好呀…
阅读更多...
最新文章

Copyright @ 2022~2023