[000-01-018].第3节：Linux环境下ElasticSearch环境搭建

我的后端学习笔记大纲

我的ElasticSearch学习大纲

1.Linux系统搭建ES环境：

1.1.单机版：

a.安装ES-7.8版本

  • 1.下载ES:
    在这里插入图片描述
  • 2.上传与解压：将下载的tar包上传到服务器software目录下，然后解压缩：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 3.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.创建用户： 因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户在这里插入图片描述
  • 6.修改配置文件：修改/opt/module/es/config/elasticsearch.yml 文件，分发文件:
    # 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
  • 7.修改/etc/security/limits.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
  • 8.修改/etc/security/limits.d/20-nproc.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
  • 9.修改/etc/sysctl.conf
    # 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
  • 10.重新加载:sysctl -p
  • 11.启动软件：
    cd /opt/module/es/
#前台启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
  • 12.测试软件：浏览器中输入地址：http://192.168.148.3:9200/
    在这里插入图片描述

b.安装ES6.8.0版本安装

  • 1.下载ES6.8.0版本安装并上传到服务器上jdk
  • 2.JDK安装：
# 1.在官方网站下载ES
- wget http://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.0.tar.gz# 2.安装JDK(必须JDK1.8+)
- rpm -ivh jdk-8u181-linux-x64.rpm
/*注意:默认安装位置 /usr/java/jdk1.8.0_171-amd64*/# 3.配置环境变量
- vim /etc/profile在文件末尾加入:export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64export PATH=$PATH:$JAVA_HOME/bin# 4.重载系统配置
- source /etc/profile
  • 3.安装ES服务：
# 1. ES不能以root用户身份启动必须创建普通用户
- a.在linux系统中创建新的组groupadd es
- b.创建新的用户es并将es用户放入es组中useradd es -g es 
- c.修改es用户密码passwd es
# 2.使用普通用户登录并上传安装包3.解压缩elasticsearch
- tar -zxvf elasticsearch-6.4.1.tar.gz
# 4.进入ES安装目录查看目录结构
- bin                         可执行的二进制文件的目录
- config                    	配置文件的目录
- lib                         运行时依赖的库
- logs         								运行时日志文件
- modules											运行时依赖的模块
- plugins                   	可以安装官方以及第三方插件
# 5.进入bin目录中启动ES服务
- ./elasticsearch
- 出现下图红色日志说明启动成功:# 6.执行如下命令测试客户端操作
- curl http://localhost:9200
  • 3.开启远程连接权限
    • 注意:ES服务默认启动是受保护的,只允许本地客户端连接,如果想要通过远程客户端访问,必须开启远程连接
# 1.开启ES远程访问
- vim elasticsearch.yml 将原来network修改为以下配置:network.host: 0.0.0.0

c.Dcoke安装ES

  • 1.我们以安装Elasticsearch-7.4.2版本为例，下载镜像文件：注意版本要对应
docker pull elasticsearch:7.4.2  存储和检索数据
docker pull kibana:7.4.2         可视化检索数据
  • 2.创建elasticsearch实例:
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.ymlchmod -R 777 /mydata/elasticsearch/ 保证权限docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
  • 4.测试：
    在这里插入图片描述

1.2.集群版：

  • 1.Elasticsearch集群规划：
关系型数据库（比如Mysql）非关系型数据库（Elasticsearch）非关系型数据库（Elasticsearch）
centos7hadoop103192.168.148.3
centos7hadoop104192.168.148.4
centos7hadoop105192.168.148.5

a.版本ES-6.8.0集群：

b.版本ES-7.8.0集群：

  • 1.解压压缩包：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 2.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 3.创建用户:Elasticsearch 因为安全问题，不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户
useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es-cluster #文件夹所有者

在这里插入图片描述

  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.配置目录：安装完毕后会生成很多文件，包括配置文件日志文件等等，下面几个是最主要的配置文件路径
    • /opt/module/es-cluster/ # elasticsearch 安装目录
    • /opt/module/es-cluster/config/elasticsearch.yml #elasticsearch的配置文件
    • /opt/module/es-cluster/config/jvm.options #JVM相关的配置，内存大小等等
    • /data/elk1/data # 数据存放路径
    • /data/elk1/logs # 日志存放路径
  • 6.创建用于存放数据与日志的目录:数据文件会随着系统的运行飞速增长，所以默认的日志文件与数据文件的路径不能满足我们的需求，需要手动创建日志与数据文件路径
mkdir -p /data/elk1/data
mkdir -p /data/elk1/logs
  • 7.集群配置：vim /opt/module/es-cluster/config/elasticsearch.yml（yml文件有严格的语法要求，在配置的时候，一定要注意语法，这里容易出现错误）
# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-1
#ip 地址，每个节点的地址不能重复network.host: hadoop103
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-2
#ip 地址，每个节点的地址不能重复network.host: hadoop104
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复node.name: node-3
#ip 地址，每个节点的地址不能重复network.host: hadoop105
#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200
## head 插件需要这打开这两个配置http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16
  • 三台机器不一样的elasticsearch.yml配置点如下
node.name: node-1      #192.168.148.3
node.name: node-2      #192.168.148.4
node.name: node-3      #192.168.148.5
network.host: 192.168.148.3	#192.168.148.3
network.host: 192.168.148.4	#192.168.148.4
network.host: 192.168.148.5	#192.168.148.5
  • 8.JVM配置：
    • 由于Elasticsearch是Java开发的，所以可以通过/etc/elasticsearch/jvm.options配置文件来设定JVM的相关设定。如果没有特殊需求按默认即可。
    • 但是其中还是有两项最重要的-Xmx1g与-Xms1gJVM的最大最小内存。如果太小会导致Elasticsearch刚刚启动就立刻停止。太大会拖慢系统本身。
 vim /opt/module/es-cluster/config/jvm.options
-Xms1g   修改为 ===>  -Xms2g
-Xmx1g   修改为 ===>  -Xmx2g
  • 9.修改/etc/sysctl.conf:添加如下配置后并重新加载:sysctl -p：
vm.max_map_count=655360
  • 10.切换用户es后，切到es的安装目录后，启动服务：./bin/elasticsearch

c.使用Docker部署ES集群版:

3.Kinbana环境搭建

  • 1.创建Kinbana实例：
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.148.3:9200 -p 5601:5601 \
-d kibana:6.8.1
  • 5.访问测试：192.168.148.3:5601
    在这里插入图片描述

4.Logstaish环境搭建：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/52115.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Excel求和方法之

Excel求和方法之

一 SUM（），选择要相加的数,回车即可 二 上面的方法还不够快。用下面这个 就成功了 三 还有一种一样快的 选中之后，按下Alt键和键（即Alt）
阅读更多...
深度学习------------------卷积神经网络（LeNet）

深度学习------------------卷积神经网络（LeNet）

目录 LeNet网络手写的数字识别MNIST总结卷积神经网络（LeNet） 问题 LeNet网络 手写的数字识别 MNIST ①输入的是：3232的image ②放到一个55的卷积层里面（为什么是5？因为32-x128，∴x5）&#xff0c…
阅读更多...
计算机毕业设计PySpark+Flask bilibili弹幕情感分析 B站视频数据可视化 B站爬虫 机器学习 深度学习 NLP自然语言处理 大数据毕业设计

计算机毕业设计PySpark+Flask bilibili弹幕情感分析 B站视频数据可视化 B站爬虫 机器学习 深度学习 NLP自然语言处理 大数据毕业设计

### 开题报告：基于PySpark和Flask的B站弹幕情感分析系统 #### 一、研究背景 在网络视频平台的用户互动中，弹幕（Danmaku）作为一种实时评论的形式，已经成为观众表达观点和情感的重要方式。尤其是在B站（哔哩…
阅读更多...
MySQL 数据库管理

MySQL 数据库管理

在 MySQL 中，数据库管理是非常基础但又至关重要的技能。无论是创建新的数据库、选择当前使用的数据库，还是查看数据库的相关信息，这些操作都是日常数据库管理中不可或缺的一部分。本文将详细介绍 MySQL 数据库管理的基本操作，包括…
阅读更多...
Go Roadmap-Basics中文笔记

Go Roadmap-Basics中文笔记

Go Roadmap-Basics 地址：https://roadmap.sh/golang 简介：Github star No.6 学习路线 Go 中译版 Learn the Basics Go特点：静态类型，运行速度快，编译语言，编译速度快，自动垃圾回收&#xff…
阅读更多...
【GH】【EXCEL】P4: Chart

【GH】【EXCEL】P4: Chart

文章目录 data and chartdonut chart (radial chart)Radial Chart bar chartBar Chart line chartLine Chart Scatter ChartScatter Chart Surface ChartSurface Chart Chart DecoratorsChart Decorators Chart GraphicsChart Graphics data and chart donut chart (radial cha…
阅读更多...
C语言04--数组超详解

C语言04--数组超详解

1.基本概念 逻辑：一次性定义多个相同类型的变量，并存储到一片连续的内存中语法： 数据类型 数组名字 [ 数据的量 ] ; 示例： int a[5]; int Num ; 语法释义： a 是数组名，即这片连续内存的名称[5] …
阅读更多...
一文入门：使用 Python的requests 库

一文入门：使用 Python的requests 库

简介 requests 是 Python 中一个简单易用的 HTTP 库，用于发送各种 HTTP 请求。它建立在 Python 标准库 urllib 之上，提供了更人性化的接口。 安装 requests 库 在开始之前，确保你已经安装了 requests 库。如果还没有安装，可以通…
阅读更多...
基于WEB的旅游推荐系统设计与实现

基于WEB的旅游推荐系统设计与实现

TOC springboot280基于WEB的旅游推荐系统设计与实现 第1章 绪论 1.1选题动因 当前的网络技术，软件技术等都具备成熟的理论基础，市场上也出现各种技术开发的软件，这些软件都被用于各个领域，包括生活和工作的领域。随着电脑和笔…
阅读更多...
（七）Flink Watermark

（七）Flink Watermark

Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题，尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下，即使某些数据出现了延迟到达的情况，也不会导致整个处理流程的中断。此外，Watermark 还能防止过期的数据…
阅读更多...
五、2 移位操作符赋值操作符

五、2 移位操作符赋值操作符

1、移位操作符 2、赋值操作符 “ ”赋值，“ ”判断是否相等 1）连续赋值 2）复合赋值符
阅读更多...
驾驭时间之舟：SQL中时序数据处理的深度探索

驾驭时间之舟：SQL中时序数据处理的深度探索

标题：驾驭时间之舟：SQL中时序数据处理的深度探索 在数据的长河中，时间序列数据以其独特的流动性和连续性，记录着世界的每一次脉动。SQL作为数据查询的通用语言，在处理时序数据时，也展现出了其独特的魅力和…
阅读更多...
VS Code开发C#(.NET)之快速入门

VS Code开发C#(.NET)之快速入门

本篇快速介绍在VS Code中开发C#的完整说明和示例： 环境准备 安装VS Code： 前往Visual Studio Code官网 下载并安装VS Code。 安装.NET SDK： C#是基于.NET框架的，因此需要安装 .NET SDK。 前往 .NET官网 下载并安装适用于操…
阅读更多...
每天一个数据分析题（四百九十一）- 主成分分析与因子分析

每天一个数据分析题（四百九十一）- 主成分分析与因子分析

因子载荷矩阵是主成分载荷矩阵（）的结果 A. 最小方差斜交旋转 B. 最大方差斜交旋转 C. 最小方差正交旋转 D. 最大方差正交旋转 数据分析认证考试介绍：点击进入 题目来源于CDA模拟题库 点击此处获取答案 数据分析专项练习题库 内容涵盖…
阅读更多...
成为Python砖家(4): 装饰器的简单理解

成为Python砖家(4): 装饰器的简单理解

第一次理解 Python 中的装饰器（decorator），是Python中一个非常强大的工具，它是一个返回函数的函数。 上面这个定义很简洁，但是没说清楚。 第二次理解 装饰器，是一个接收函数 func、返回封装后的函数 wr…
阅读更多...
编译器揭秘

编译器揭秘

从上世纪50年代开始，编程语言五花八门，编译器和解释器层出不穷。此处只列出常见编程语言的编译器和解释器信息，不常见的编程语言有单独文章介绍。 C/C cc 此处代表Unix C编译器，其他平台可能借用cc软链接到真正的C编译器。MSVC 微…
阅读更多...
【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】

【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】

路虎劳斯莱斯中控改名字生日视频制作教程AE模板改文字软件特效 怎么如何做的【生日视频制作】路虎劳斯莱斯中控改名字AE模板修改文字软件生成器教程特效素材【AE模板】 生日视频制作步骤： 安装AE软件下载AE模板把AE模板导入AE软件修改图片或文字渲染出视频
阅读更多...
Element-UI Table实现列表筛选数据及列表嵌套选择框

Element-UI Table实现列表筛选数据及列表嵌套选择框

VUE 框架在 Element UI 的基础上，Table 组件中实现了列表数据的修改功能，支持单选和多选功能，并且列表具备筛选功能。样式如图所示。 功能介绍 点击table列名实现筛选查询功能相关性判断点击列表中的正方形实现选择框功能，同时修…
阅读更多...
Qt5 编译 Qt creator 源码中的 designer 模块

Qt5 编译 Qt creator 源码中的 designer 模块

文章目录 下载 Qt Creator 源码 下载 Qt Creator 源码 Github: https://github.com/qt/qttools 笔记打算用 Qt 5.12.12 来编译 qt creator-designer 所以笔者下载的是 tag - 5.12.12 ，解压后如下，先删除多余的文件，后续还要删除更多文件方便…
阅读更多...
Rivian暂停亚马逊送货车生产，特斯拉Roadster再引关注

Rivian暂停亚马逊送货车生产，特斯拉Roadster再引关注

Rivian遭遇供应链挑战，暂停亚马逊送货车生产 电动汽车制造商Rivian近期宣布，由于零部件短缺，已暂停为零售巨头亚马逊生产商业送货车。这一决定标志着Rivian在应对供应链挑战方面遭遇了最新挫折。作为Rivian的最大投资者，亚马逊持有…
阅读更多...
最新文章

Copyright @ 2022~2023