[000-01-018].第3节：Linux环境下ElasticSearch环境搭建

我的后端学习笔记大纲

我的ElasticSearch学习大纲

1.Linux系统搭建ES环境：

1.1.单机版：

a.安装ES-7.8版本

  • 1.下载ES:
    在这里插入图片描述
  • 2.上传与解压：将下载的tar包上传到服务器software目录下，然后解压缩：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 3.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.创建用户： 因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户在这里插入图片描述
  • 6.修改配置文件：修改/opt/module/es/config/elasticsearch.yml 文件，分发文件:
    # 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
  • 7.修改/etc/security/limits.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
  • 8.修改/etc/security/limits.d/20-nproc.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
  • 9.修改/etc/sysctl.conf
    # 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
  • 10.重新加载:sysctl -p
  • 11.启动软件：
    cd /opt/module/es/
#前台启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
  • 12.测试软件：浏览器中输入地址：http://192.168.148.3:9200/
    在这里插入图片描述

b.安装ES6.8.0版本安装

  • 1.下载ES6.8.0版本安装并上传到服务器上jdk
  • 2.JDK安装：
# 1.在官方网站下载ES
- wget http://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.0.tar.gz# 2.安装JDK(必须JDK1.8+)
- rpm -ivh jdk-8u181-linux-x64.rpm
/*注意:默认安装位置 /usr/java/jdk1.8.0_171-amd64*/# 3.配置环境变量
- vim /etc/profile在文件末尾加入:export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64export PATH=$PATH:$JAVA_HOME/bin# 4.重载系统配置
- source /etc/profile
  • 3.安装ES服务：
# 1. ES不能以root用户身份启动必须创建普通用户
- a.在linux系统中创建新的组groupadd es
- b.创建新的用户es并将es用户放入es组中useradd es -g es 
- c.修改es用户密码passwd es
# 2.使用普通用户登录并上传安装包3.解压缩elasticsearch
- tar -zxvf elasticsearch-6.4.1.tar.gz
# 4.进入ES安装目录查看目录结构
- bin                         可执行的二进制文件的目录
- config                    	配置文件的目录
- lib                         运行时依赖的库
- logs         								运行时日志文件
- modules											运行时依赖的模块
- plugins                   	可以安装官方以及第三方插件
# 5.进入bin目录中启动ES服务
- ./elasticsearch
- 出现下图红色日志说明启动成功:# 6.执行如下命令测试客户端操作
- curl http://localhost:9200
  • 3.开启远程连接权限
    • 注意:ES服务默认启动是受保护的,只允许本地客户端连接,如果想要通过远程客户端访问,必须开启远程连接
# 1.开启ES远程访问
- vim elasticsearch.yml 将原来network修改为以下配置:network.host: 0.0.0.0

c.Dcoke安装ES

  • 1.我们以安装Elasticsearch-7.4.2版本为例，下载镜像文件：注意版本要对应
docker pull elasticsearch:7.4.2  存储和检索数据
docker pull kibana:7.4.2         可视化检索数据
  • 2.创建elasticsearch实例:
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.ymlchmod -R 777 /mydata/elasticsearch/ 保证权限docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
  • 4.测试：
    在这里插入图片描述

1.2.集群版：

  • 1.Elasticsearch集群规划：
关系型数据库（比如Mysql）非关系型数据库（Elasticsearch）非关系型数据库（Elasticsearch）
centos7hadoop103192.168.148.3
centos7hadoop104192.168.148.4
centos7hadoop105192.168.148.5

a.版本ES-6.8.0集群：

b.版本ES-7.8.0集群：

  • 1.解压压缩包：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 2.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 3.创建用户:Elasticsearch 因为安全问题，不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户
useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es-cluster #文件夹所有者

在这里插入图片描述

  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.配置目录：安装完毕后会生成很多文件，包括配置文件日志文件等等，下面几个是最主要的配置文件路径
    • /opt/module/es-cluster/ # elasticsearch 安装目录
    • /opt/module/es-cluster/config/elasticsearch.yml #elasticsearch的配置文件
    • /opt/module/es-cluster/config/jvm.options #JVM相关的配置，内存大小等等
    • /data/elk1/data # 数据存放路径
    • /data/elk1/logs # 日志存放路径
  • 6.创建用于存放数据与日志的目录:数据文件会随着系统的运行飞速增长，所以默认的日志文件与数据文件的路径不能满足我们的需求，需要手动创建日志与数据文件路径
mkdir -p /data/elk1/data
mkdir -p /data/elk1/logs
  • 7.集群配置：vim /opt/module/es-cluster/config/elasticsearch.yml（yml文件有严格的语法要求，在配置的时候，一定要注意语法，这里容易出现错误）
# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-1
#ip 地址，每个节点的地址不能重复network.host: hadoop103
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-2
#ip 地址，每个节点的地址不能重复network.host: hadoop104
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-3
#ip 地址，每个节点的地址不能重复network.host: hadoop105
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16
  • 三台机器不一样的elasticsearch.yml配置点如下
node.name: node-1      #192.168.148.3
node.name: node-2      #192.168.148.4
node.name: node-3      #192.168.148.5
network.host: 192.168.148.3	#192.168.148.3
network.host: 192.168.148.4	#192.168.148.4
network.host: 192.168.148.5	#192.168.148.5
  • 8.JVM配置：
    • 由于Elasticsearch是Java开发的，所以可以通过/etc/elasticsearch/jvm.options配置文件来设定JVM的相关设定。如果没有特殊需求按默认即可。
    • 但是其中还是有两项最重要的-Xmx1g与-Xms1gJVM的最大最小内存。如果太小会导致Elasticsearch刚刚启动就立刻停止。太大会拖慢系统本身。
 vim /opt/module/es-cluster/config/jvm.options
-Xms1g   修改为 ===>  -Xms2g
-Xmx1g   修改为 ===>  -Xmx2g
  • 9.修改/etc/sysctl.conf:添加如下配置后并重新加载:sysctl -p：
vm.max_map_count=655360
  • 10.切换用户es后，切到es的安装目录后，启动服务：./bin/elasticsearch

c.使用Docker部署ES集群版:

3.Kinbana环境搭建

  • 1.创建Kinbana实例：
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.148.3:9200 -p 5601:5601 \
-d kibana:6.8.1
  • 5.访问测试：192.168.148.3:5601
    在这里插入图片描述

4.Logstaish环境搭建：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/52115.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Excel求和方法之

Excel求和方法之

一 SUM（），选择要相加的数,回车即可 二 上面的方法还不够快。用下面这个 就成功了 三 还有一种一样快的 选中之后，按下Alt键和键（即Alt）
阅读更多...
深度学习------------------卷积神经网络（LeNet）

深度学习------------------卷积神经网络（LeNet）

目录 LeNet网络手写的数字识别MNIST总结卷积神经网络（LeNet） 问题 LeNet网络 手写的数字识别 MNIST ①输入的是：3232的image ②放到一个55的卷积层里面（为什么是5？因为32-x128，∴x5）&#xff0c…
阅读更多...
计算机毕业设计PySpark+Flask bilibili弹幕情感分析 B站视频数据可视化 B站爬虫 机器学习 深度学习 NLP自然语言处理 大数据毕业设计

计算机毕业设计PySpark+Flask bilibili弹幕情感分析 B站视频数据可视化 B站爬虫 机器学习 深度学习 NLP自然语言处理 大数据毕业设计

### 开题报告：基于PySpark和Flask的B站弹幕情感分析系统 #### 一、研究背景 在网络视频平台的用户互动中，弹幕（Danmaku）作为一种实时评论的形式，已经成为观众表达观点和情感的重要方式。尤其是在B站（哔哩…
阅读更多...
Go Roadmap-Basics中文笔记

Go Roadmap-Basics中文笔记

Go Roadmap-Basics 地址：https://roadmap.sh/golang 简介：Github star No.6 学习路线 Go 中译版 Learn the Basics Go特点：静态类型，运行速度快，编译语言，编译速度快，自动垃圾回收&#xff…
阅读更多...
【GH】【EXCEL】P4: Chart

【GH】【EXCEL】P4: Chart

文章目录 data and chartdonut chart (radial chart)Radial Chart bar chartBar Chart line chartLine Chart Scatter ChartScatter Chart Surface ChartSurface Chart Chart DecoratorsChart Decorators Chart GraphicsChart Graphics data and chart donut chart (radial cha…
阅读更多...
C语言04--数组超详解

C语言04--数组超详解

1.基本概念 逻辑：一次性定义多个相同类型的变量，并存储到一片连续的内存中语法： 数据类型 数组名字 [ 数据的量 ] ; 示例： int a[5]; int Num ; 语法释义： a 是数组名，即这片连续内存的名称[5] …
阅读更多...
基于WEB的旅游推荐系统设计与实现

基于WEB的旅游推荐系统设计与实现

TOC springboot280基于WEB的旅游推荐系统设计与实现 第1章 绪论 1.1选题动因 当前的网络技术，软件技术等都具备成熟的理论基础，市场上也出现各种技术开发的软件，这些软件都被用于各个领域，包括生活和工作的领域。随着电脑和笔…
阅读更多...
五、2 移位操作符赋值操作符

五、2 移位操作符赋值操作符

1、移位操作符 2、赋值操作符 “ ”赋值，“ ”判断是否相等 1）连续赋值 2）复合赋值符
阅读更多...
VS Code开发C#(.NET)之快速入门

VS Code开发C#(.NET)之快速入门

本篇快速介绍在VS Code中开发C#的完整说明和示例： 环境准备 安装VS Code： 前往Visual Studio Code官网 下载并安装VS Code。 安装.NET SDK： C#是基于.NET框架的，因此需要安装 .NET SDK。 前往 .NET官网 下载并安装适用于操…
阅读更多...
成为Python砖家(4): 装饰器的简单理解

成为Python砖家(4): 装饰器的简单理解

第一次理解 Python 中的装饰器（decorator），是Python中一个非常强大的工具，它是一个返回函数的函数。 上面这个定义很简洁，但是没说清楚。 第二次理解 装饰器，是一个接收函数 func、返回封装后的函数 wr…
阅读更多...
【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】

【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】

路虎劳斯莱斯中控改名字生日视频制作教程AE模板改文字软件特效 怎么如何做的【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】 生日视频制作步骤： 安装AE软件下载AE模板把AE模板导入AE软件修改图片或文字渲染出视频
阅读更多...
Element-UI Table实现列表筛选数据及列表嵌套选择框

Element-UI Table实现列表筛选数据及列表嵌套选择框

VUE 框架在 Element UI 的基础上，Table 组件中实现了列表数据的修改功能，支持单选和多选功能，并且列表具备筛选功能。样式如图所示。 功能介绍 点击table列名实现筛选查询功能相关性判断点击列表中的正方形实现选择框功能，同时修…
阅读更多...
Qt5 编译 Qt creator 源码中的 designer 模块

Qt5 编译 Qt creator 源码中的 designer 模块

文章目录 下载 Qt Creator 源码 下载 Qt Creator 源码 Github: https://github.com/qt/qttools 笔记打算用 Qt 5.12.12 来编译 qt creator-designer 所以笔者下载的是 tag - 5.12.12 ，解压后如下，先删除多余的文件，后续还要删除更多文件方便…
阅读更多...
Rivian暂停亚马逊送货车生产，特斯拉Roadster再引关注

Rivian暂停亚马逊送货车生产，特斯拉Roadster再引关注

Rivian遭遇供应链挑战，暂停亚马逊送货车生产 电动汽车制造商Rivian近期宣布，由于零部件短缺，已暂停为零售巨头亚马逊生产商业送货车。这一决定标志着Rivian在应对供应链挑战方面遭遇了最新挫折。作为Rivian的最大投资者，亚马逊持有…
阅读更多...
anaconda学习笔记：复制anaconda的base环境

anaconda学习笔记：复制anaconda的base环境

在anaconda的图形界面中，新建环境，可以看到，默认的包只有几个（这里是10个），像常用的numpy、pandas等等都没有，在使用过程中还需要再次安装。 而base环境有几百个（325个）这…
阅读更多...
【Java 数据结构】PriorityQueue介绍

【Java 数据结构】PriorityQueue介绍

优先级队列 回顾二叉树堆堆是什么堆的实现初始化堆的创建向下调整建堆复杂度插入向上调整建堆复杂度删除 PriorityQueue类介绍PriorityQueue是什么PriorityQueue使用构造方法常用方法 PriorityQueue源码介绍Top-K问题 回顾二叉树 上一次我们简单的了解了二叉树这个数据结构, 但…
阅读更多...
【Linux】软硬链接

【Linux】软硬链接

1 .硬链接 我们知道，真正找到磁盘上文件的并不是文件名，而是inode。 其实在linux中可以让多个文件名对应于同一个inode。 我们可以通过以下命令创建一个文件的硬连接。 ln path(文件的相对/绝对路径) newname（新文件名字） 通过…
阅读更多...
EasyCVR视频汇聚平台构建远程安防监控：5大亮点解析，助力安防无死角

EasyCVR视频汇聚平台构建远程安防监控：5大亮点解析，助力安防无死角

随着科技的飞速发展，远程安防监控系统已经成为现代社会中不可或缺的一部分，无论是在小区、公共场所还是工业领域，安防监控都发挥着至关重要的作用。而EasyCVR作为一款功能强大的视频监控综合管理平台，其在构建远程安防监控系统方面…
阅读更多...
电测量数据交换DLMS∕COSEM组件第62部分：COSEM接口类（4）

电测量数据交换DLMS∕COSEM组件第62部分：COSEM接口类（4）

1.7COSEM服务器模型 COSEM服务器被构建为3层体系结构如图3所示。 图4示例说明如何用COSEM服务器模型构建一台组合式计量设备。 1.8COSEM逻辑设备 1.8.1概述 COSEM逻辑设备包含一组COSEM对象，每个物理设备均应包含一个“Management logical device”。对COSEM逻辑设备…
阅读更多...
大模型之战-操作数据表-coze

大模型之战-操作数据表-coze

工作流直接操作数据库啦【何时可以直接访问自己的数据库呢】 1，第一步创建一个bot智能体 1.1，bot中创建数据库表： 1.2，智能体可以通过对话，操作表；【增加，筛选查询等】 1.2.1，增加…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023