ElasticSearch 集群搭建与状态监控cerebro

单机的elasticsearch做数据存储,必然面临两个问题:海量数据存储问题、单点故障问题。为了解决存储能力上上限问题就可以用到集群部署。

  • 海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard),存储到多个节点
  • 单点故障问题:将分片数据在不同节点备份 (replica ) 

 

目录

一、部署es集群

二、集群搭建案例:利用3个docker容器模拟3个es的节点

2.1 首先编写一个docker-compost文件,代码如下

2.2 es运行需要修改一些lintx系统权限

 2.3 集群状态监控(cerebro)

  2.4 创建索引库


 

一、部署es集群

在单机上利用docker容器运行多个es实例来模拟es集群。在生产环境中推荐每一台服务节点仅部署一个es的实例。
部署es集群可以直接使用docker-compose来完成,但要求Linux虚拟机至少有4GI的内存空间。 

二、集群搭建案例:利用3个docker容器模拟3个es的节点

 

2.1 首先编写一个docker-compost文件,代码如下
version:"2.2
services:es01:image: elasticsearch:7.12.1container_name: es01environment:- node .name=ego1-cluster.name=es-docker-cluster-discovery.seed_hosts=es02,es3-cluster.initial_master_nodes=es1es02 ,es03-"ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:-data01:/usr/share/elasticsearch/dataports:-9200:9200networks:-elastices02:image: elasticsearch:7.12.1container_name: es02environment:-node.name=es02-cluster.name=es-docker-cluster-discovery.seed_hosts=es01,es03-cluster.initial_master_nodes=es01,es02,es03-"ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:-data02:/usr/share/elasticsearch/dataports:9201:9200networks:-elastices03:image: elasticsearch:7.12.1container_name: es03environment:-node.name=es03-cluster.name=es-docker-cluster-discovery.seed_hosts=es01,es02-cluster.initial_master_nodes=es01,es02,es03-"ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:-data03:/usr/share/elasticsearch/dataports:9202:9200networks:-elastic
2.2 es运行需要修改一些lintx系统权限

(1) 修改 /etc/sysctl.conf  文件

vi   /etc/sysctl.conf 

(2) 添加下面的内容

 vm.max_map_count=262144

(3) 然后执行命令,让配置生效

 sysctl -p

(4) 通过docker-compose启动集群 

docker-compose up -d 

 2.3 集群状态监控(cerebro)

kibana可以监控es集群,不过新版本需要依赖es的x-pack 功能,配置比较复杂。

推荐使用cerebro来监控es集群状态,官方网址:https://github.com/lmenezes/cerebro 

 

启动 cerebro 服务

 访问登录cerebro

 集群状态

  2.4 创建索引库

第一种方式:利用kibana的DevTools创建索引库 ,在DevTools中输入指令

PuT   /itcast

{

        "settings" : {
                "number_of_shards": 3,// 分片款量

                "number_of_replicas": 1 // 副本数

        },

        "mappings" : {

                "properties":{

                        //mapping晚射定义 

                }    

        }

}

第二种方式:利用cerebro创建索引库

填写索引库信息

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/606492.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣题:高精度运算-1.3

力扣题-1.3 [力扣刷题攻略] Re:从零开始的力扣刷题生活 力扣题1:43. 字符串相乘 解题思想:类似计算时采用的竖式乘法。首先取得num2的低位,并补齐对应的0,然后与num1进行相乘,然后进行字符串的相加操作。…

腾讯云com域名注册1元条件说明

腾讯云com域名注册优惠价格1元首年,条件是企业新用户,个人新用户注册com域名是33元首年,第二年续费价格85元一年。活动 txybk.com/go/domain-sales 活动打开如下图: 腾讯云com域名注册优惠价格 腾讯云com域名注册原价是85元一年&a…

【初识微服务Cloud-预习】

如果你是公司的一名技术负责人或者技术架构,当公司需要进行技术选型,整个微服务的架构搭建,你会怎么办? 1.Spring cloud NetFlix 一站式解决方案! api网关,zuul 组件Feign — Httpclinet ---- Http通信方式&#xff0…

pytest框架测试用例实现输出log到指定文件

要使用pytest框架将测试用例的输出日志重定向到指定文件,你可以使用Python的内置日志模块和pytest的插件功能。以下是一个简单的示例,展示如何将测试用例的输出日志记录到指定的文件中: 首先,确保你已经安装了pytest。你可以使用以…

搜索docker镜像

要查看Docker镜像库&#xff0c;可以使用docker search命令。 docker search <关键词>例如&#xff0c;如果你想要查找名为nginx的镜像&#xff0c;可以执行以下命令&#xff1a; docker search nginx命令执行后&#xff0c;将会列出所有与关键词nginx相关的Docker镜像…

数据结构—图(下)

文章目录 12.图(下)(4).生成树和最小生成树#1.什么是生成树和最小生成树&#xff1f;i.生成树ii.最小生成树 #2.Prim算法i.算法思想ii.看看例子iii.代码实现 #3.Kruskal算法i.算法思想ii.看看例子iii.代码实现 #4.次小生成树 (5).最短路径问题#1.加权有向图的最短路径问题#2.单…

【QML COOK】- 002-添加一个图片

1. 编辑main.qml import QtQuickWindow {width: 800height: 800visible: truetitle: qsTr("Hello World")Image {anchors.fill: parentsource: "qrc:/Resources/Images/arrow.png"} }将Window的width和height都改成800&#xff0c;因为我们要添加的图片大…

SpringBoot 静态资源映射

文章目录 一、静态资源映射1.1 什么是静态资源映射1.2 常见的静态资源映射方式 二、SpringBooot默认配置2.1 resources 目录2.2 SpringBoot 默认配置 三、SpringBoot手动配置3.1 配置属性3.2 自定义配置类 参考资料 一、静态资源映射 1.1 什么是静态资源映射 资源映射指的是将…

客服系统即时通讯Nginx配置支持WebSocket

如果遇到搭建好客服系统后&#xff0c;发消息不能即时通知推送&#xff0c;那就是webscoket部分没有配置正确 在反向代理的配置块里 增加以下两句 proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade";proxy_set_header Upgrade $http…

jenkins设置Jenkinsfile的pipeline脚本 nohup运行

问题 默认情况下&#xff0c;jenkins pipiline 会kill 掉衍生后台的子进程&#xff0c;比如nohup 命令等。 解决 设置环境变量即可。withEnv([‘JENKINS_NODE_COOKIEdontKillMe’]) stage(上传到阿里云OSS) {steps{script {withEnv([JENKINS_NODE_COOKIEdontKillMe]){sh so…

x-cmd pkg | you-get - web 媒体内容下载工具

目录 简介首次用户功能特点竞品和相关作品进一步阅读 简介 You-Get 是一个开源的命令行小型下载工具&#xff0c;用于从各种网站下载视频、音频和其他媒体文件。 它可以解析和下载嵌套在网页中的媒体&#xff0c;能从 YouTube、优酷、Niconico 、bilibili 等热门网站下载视频、…

用RASP五步轻松保护云端无服务器架构

近年来无服务器架构发展势头正猛&#xff0c;预计未来十年将增长近25%。据称&#xff0c;2022年无服务器架构市场的规模超过了90亿美元&#xff0c;年复合增长率预计将增加。到2032年&#xff0c;市场规模可能超过900亿美元。 这表明&#xff0c;在组织日益采用DevOps的影响下&…

Python从入门到网络爬虫(日期和时间详解)

Python 日期和时间 Python 程序能用很多方式处理日期和时间&#xff0c;转换日期格式是一个常见的功能。 Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。 时间间隔是以秒为单位的浮点小数。 每个时间戳都以自从1970年1月1日午夜&#xff08;历元&…

Nvidia Jetson AGX Orin使用CAN与底盘通信(ROS C++ 驱动)

文章目录 一、Nvidia Jetson AGX Orin使用CAN通信1.1 CAN使能配置修改GPIO口功能1.2 can收发测试 二、通过CAN协议编写CAN的SocketCan ROS1驱动程序2.1 通讯协议2.2 接收数据节点2.3 发送数据节点2.4 功能包配置 三、ROS2驱动程序 一、Nvidia Jetson AGX Orin使用CAN通信 参考…

Avalonia学习点征集

你对什么内容感兴趣&#xff1f; 你需要集成哪些功能控件&#xff1f; 你需要研究哪些第三方库&#xff1f; 你需要实现什么功能&#xff1f; 我自己写的自己感兴趣的&#xff0c;没有体系。 我自己写太单薄&#xff0c;无法及时更新最新的。 向大家征集学习点。也希望大…

OCS2 入门教程(四)- 机器人示例

系列文章目录 前言 OCS2 包含多个机器人示例。我们在此简要讨论每个示例的主要特点。 System State Dim. Input Dim. Constrained Caching Double Integrator 2 1 No No Cartpole 4 1 Yes No Ballbot 10 3 No No Quadrotor 12 4 No No Mobile Manipul…

问答:攻击面发现及管理

Q1: 长亭云图极速版&#xff08;Cloud Atlas&#xff09;是什么&#xff1f; A1: 它是长亭科技推出的一款攻击面管理运营平台&#xff0c;目的是将企业的网络安全从被动防御转变为主动出击&#xff0c;提前于攻击者采取措施。 Q2: 长亭云图极速版的主要功能包括哪些&#xff…

vue中的防抖和节流

在Vue中&#xff0c;防抖和节流是两种常用的优化技术&#xff0c;用于限制事件的触发频率&#xff0c;以提高页面性能。 防抖&#xff08;Debounce&#xff09;是指在事件被触发后&#xff0c;等待一段时间后再执行回调函数。如果在这段等待时间内&#xff0c;事件又被触发&am…

逻辑回归(Logistic Regression)

什么是机器学习 逻辑回归&#xff08;Logistic Regression&#xff09;虽然名字中包含"回归"一词&#xff0c;但实际上是一种用于解决分类问题的统计学习方法&#xff0c;而不是回归问题。它是一种线性模型&#xff0c;常用于二分类问题&#xff0c;也可以扩展到多分…

【亲测】申请腾讯云免费服务器流程,2024新版教程

腾讯云免费服务器申请入口 https://curl.qcloud.com/FJhqoVDP 免费服务器可选轻量应用服务器和云服务器CVM&#xff0c;轻量配置可选2核2G3M、2核8G7M和4核8G12M&#xff0c;CVM云服务器可选2核2G3M和2核4G3M配置&#xff0c;腾讯云百科txybk.com分享2024年最新腾讯云免费服务器…