【ELK 学习】ElasticSearch

ELK:ElasticSearch存储,Logstash收集,Kibana展示
版本较多,使用时需要版本匹配,还需要和mysql版本匹配(elastic官网给了版本对应关系)

本次使用的版本es6.8.12
filebeat 轻量级的数据收集工具

ElasticSearch为文档搜索产生的
分布式文档搜索,lucene单线程搜索的组合
ElasticSearch 除了java也支持python

0.作用

大数据时代产生的应用:
1.分布式存储:hdfs
2.分布式计算:
离线计算:MapReduce、hive
实时计算:spark、Flink
3.分布式搜索引擎:ElasticSearch

海量数据、近实时处理

1. 核心概念

Index,Type,Document
对应到数据库:
数据库database=Index
表table=Type
一条记录row=Document

Index下面可以存储不同的type,但是大部分要相同,type是作为一个字段存储的(7.0之后不建议使用)
8.0之后一个index只能存储相同 type 的数据

shard,replica
hdfs的存储是物理切块(block)
primary shard 切片存储
replica shard 容错存储,每个切片都有一个容错副本
在这里插入图片描述
切片自己和容错存在不同的服务器(节点)上(部署集群)

2. 下载安装

windows版本
bin目录下,elasticsearch.bat点击启动

3. es的基本操作

Elasticsearch提供了基于JSON的DSL来定义查询
DSL语法
常用指令1
常用指令2

获取所有_cat命令

curl -X GET localhost:9200/_cat

检查集群健康状况

curl -X GET localhost:9200/_cat/health?v

epoch: 时间戳的 Unix 时间戳格式,表示快照生成的时间。
timestamp: 可读性更强的时间戳格式,表示快照生成的时间(08:06:34)。
cluster: Elasticsearch 集群的名称,这里是 “es-cluster”。
status: 集群的健康状态,这里是 “yellow”。Elasticsearch 集群状态通常有三种:green(绿色,健康),yellow(黄色,部分健康),red(红色,不健康)。“yellow” 状态表示集群中的某些副本不可用,但主分片是可用的。
node.total: 集群中节点的总数,这里是 1 个节点。
node.data: 充当数据节点的节点数,这里是 1 个节点。
shards: 集群中分片的总数,这里是 98 个分片。
pri: 主分片(primary shard)的数量,这里是 98 个主分片。
relo: 正在进行重新定位的分片数量,这里是 0。
init: 初始化的分片数量,这里是 0。
unassign: 未分配的分片数量,这里是 27。
pending_tasks: 挂起的任务数,这里是 0。
max_task_wait_time: 最大任务等待时间,这里是没有具体数值。
active_shards_percent: 活动分片的百分比,这里是 78.4%。这表示在集群中,有 78.4% 的分片是活动的,而剩下的可能是不可用或者正在恢复的。

查看es节点信息

curl -X GET localhost:9200/_cat/nodes?v

ip: 节点的IP地址,这里是"192.168.52.11"。
heap.percent: 节点的堆内存使用百分比,这里是67%。
ram.percent: 节点的系统内存使用百分比,这里是98%。
cpu: 节点的CPU使用率,这里是10%。
load_1m: 1分钟负载平均值,这里是0.69。
load_5m: 5分钟负载平均值,这里是0.36。
load_15m: 15分钟负载平均值,这里是0.50。
node.role: 节点的角色,这里是"“,表示这是一个主节点(master node)。
master: 指示该节点是否是主节点,这里是”
“,表示它是主节点。
name: 节点的名称,这里是"node-1”。

查看es指定节点信息

curl -X GET localhost:9200/_nodes/node-1?pretty=true

4. 索引

查看es中所有的索引

curl -X GET localhost:9200/_cat/indices?v

health: 索引的健康状态,这里是 “yellow”。Elasticsearch 索引的健康状态有三种:green(绿色,健康),yellow(黄色,部分健康),red(红色,不健康)。“yellow” 状态表示索引的某些分片处于未分配状态,但主分片是可用的。
status: 索引的状态,这里是 “open”。这表示索引处于打开状态,可以进行读取和写入操作。
index: 索引的名称,这里是 “nginx-access-log-2023.09.13”。
uuid: 索引的唯一标识符。
pri: 主分片(primary shard)的数量,这里是 1 个主分片。
rep: 副本分片(replica shard)的数量,这里也是 1 个副本分片。
docs.count: 索引中文档的总数,这里是 20。
docs.deleted: 索引中已删除的文档数量,这里是 0。
store.size: 索引的存储大小,这里是 34.1KB。
pri.store.size: 主分片的存储大小,这里也是 34.1KB。

创建索引

curl -X PUT localhost:9200/索引名字

查询索引

curl -X GET localhost:9200/索引名字

删除索引

curl -X DELETE localhost:9200/索引名字

更新索引

覆盖更新
curl -X DELETE localhost:9200/索引名字
局部更新
# 追加新增字段
POST /data/_bulk
{"update":{"_id":"1"}}
{"doc":{"title":"this is java and elasticsearch blog"}}

聚合分析

分组 count

在这里插入图片描述
用字符串分组需要指定fileddate=true
在这里插入图片描述

条件判断

在这里插入图片描述
平均数,求和

4. es的扩容实现

垂直扩容:节点扩容
水平扩容:添加新节点
水平扩容用的比较多

5. 常见报错

点击跳转

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/626674.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多视图多标签学习

一、多视图学习 多视图学习又称多视角学习,在实际应用问题中,对于同一事物可以从多种不同的途径或不同的角度进行描述,这些不同的描述构成了事物的多个视图。例如:在与人们生活息息相关的互联网中,网页数据既可以用网…

贴心管家式集运服务,象样集运让海外华人集运更加省心、放心、安心!

在这个全球化的时代,海外华人对于跨境购物的需求与日俱增,而集运服务作为连接国内购物与海外收货的重要桥梁,其重要性不言而喻。 而在这种需求之下,有一家集运公司—象样集运,提出了“贴心管家式集运服务”。今天给大…

04.阿里Java开发手册——注释规约

【强制】类、类属性、类方法的注释必须使用 Javadoc 规范,使用/**内容*/格式,不得使用// xxx 方式。 说明:在 IDE 编辑窗口中,Javadoc 方式会提示相关注释,生成 Javadoc 可以正确输出相应注释;在 IDE中&…

C++ 设计模式之享元模式

【声明】本题目来源于卡码网(题目页面 (kamacoder.com)) 【提示:如果不想看文字介绍,可以直接跳转到C编码部分】 【简介】什么是享元模式 -- 可重复使用 享元模式是⼀种结构型设计模式,在享元模式中,对象被…

我记不住的那些位操作bitwise(一)

背景: 最近在看底层的一些知识内容,其中有一些位操作,所以想复习并记录一下。 一、或 或: 0 | 1 1 及 1 | 1 1 但是无法区分这两种情况(1. 一个是false,另一个是true; 2. 这两个都是true) 在C语…

前端知识汇编(持续更新中)

前端知识汇编 1. 浅析cookie sessionStorage localStorage 1. 浅析cookie sessionStorage localStorage cookie、Web Storage 同: 保存在浏览器端都有同源限制(cookie:与特定域绑定,不被其他域访问;sessionStorage&a…

自定义shell工具函数之has_config()

这段代码是一个Shell脚本中的函数,名为pull_images。让我来解释一下这段代码的功能: function pull_images() {images_to$(get_images)pids()trap kill ${pids[*]} SIGINT SIGTERMfor image in ${images_to}; dopull_image "$image" &pid…

PDF控件Spire.PDF for .NET【安全】演示:更改 PDF 文档的安全权限

当您使用密码保护 PDF 文档时,您可以选择指定一组权限。权限决定用户如何与文件交互。例如,您可以对文档应用权限以禁止用户打印或使用剪切和粘贴操作。本文演示如何在C# 和 VB.NET中使用Spire.PDF for .NET更改 PDF 文档的安全权限。 Spire.PDF for .N…

HTML5 article标签,<time>...</time>标签和pubdate属性的运用

1、<article>...</article>标签的运用 article标签代表文档、页面或应用程序中独立的、完整的、可以独自被外部引用的内容。它可以是一篇博客或报竟杂志中的文章、一篇论坛帖子、一段用户评论或一个独立的插件&#xff0c;或者其他任何独立的内容。把文章正文放在h…

新喜报,新希望!英码科技荣登“2023年广州拟上市领头羊TOP50企业榜单”

近日&#xff0c;广州市资本市场融资对接服务平台启动仪式暨2023年拟上市企业“领头羊”评选总结活动成功举办。活动现场发布了2023年广州“拟上市领头羊TOP 50 企业榜单”、“最受资本关注TOP10榜单”、“最强科创TOP10榜单”、“最具成长TOP10榜单”并为企业颁发牌匾&#xf…

PHP手机号码归属地批量查询系统 V2024

PHP手机号码归属地批量查询系统 V2024 全部完整代码压缩后只有445KB(代码50.1万行数据); 安全建议:数据库名称DB改为自己指导的名称(本页参数两个文件文件名) 或者伪静态规则&#xff0c;限制.json格式和.db格式文件下载 性能:30条批量查询相应时间0.014秒左右; 数据压缩&#…

HCIA 网络基础:

应用层 抽象语言-->编码 表示层 编码-->二进制 会话层 建立会话&#xff0c;提供绘画地址。 应用于程序内部进行区分&#xff0c;没有统一标准 上三层主要是软件层面&#xff08;应用 程序处理数据&#xff09; 下四层主要负责数据传输 传输层 端口号 分段 &#xff…

【温故而知新】HTML5新标签canvas、MathML

文章目录 一、概念二、新标签三、canvas四、SVG五、MathML 一、概念 HTML5是HTML的最新版本&#xff0c;它引入了许多新的元素和功能&#xff0c;以适应现代网页开发的需求。以下是HTML5的一些主要特点&#xff1a; 新增语义元素&#xff1a;HTML5引入了许多新的语义元素&…

mysql 5.7 函数汇总

mysql 5.7 函数汇总&#xff0c;以下内容由chatgpt中文网 动态生成,助力开发找我 MySQL 5.7 提供了许多内置函数&#xff0c;用于各种数据库操作和数据处理。以下是一些常用的 MySQL 5.7 函数的汇总&#xff1a;字符串函数&#xff1a;CONCAT(): 连接两个或多个字符串。 GROUP…

Ubuntu开机自动挂载硬盘

前言&#xff1a; 因为我的电脑是WIN10 Ubuntu18.04双系统&#xff0c;且两个系统都装在C盘上&#xff0c;而D盘作为数据和代码存储盘&#xff0c;经常会开机就被访问&#xff0c;例如上一次关机前用VS Code访问D盘代码&#xff0c;然后下一次开机的时候打开VSCode发现打不开…

ChatGPT 和文心一言哪个更好用?

文心一言的答案&#xff1a; 在人工智能技术的不断发展下&#xff0c;聊天机器人已经成为我们日常生活和工作中不可或缺的一部分。其中&#xff0c;ChatGPT和文心一言是两款备受关注的聊天机器人&#xff0c;它们各自具有独特的优点和适用场景。本文将就这两个聊天机器人进行简…

在window宿主机访问WSL2内部署的服务

目录 在window宿主机访问 WSL2 内部署的服务&#xff08;其他&#xff09;在 WSL2 内查看 windows&#xff08;宿主机&#xff09;的IP地址 windows内置了Linux系统&#xff08;WSL&#xff09;。 在window宿主机访问 WSL2 内部署的服务 在WSL下部署的项目&#xff0c;比如端口…

C#基础-资源清理-终结器与IDisposable

内容借鉴-C#8.0本质论 终结器 终结器 (finalizer) 允许程序员写代码来清理类的资源。与使用new操作符显式调用构造函数不同&#xff0c;终结器不能从代码中显式调用。没有和new对应的操作符 (比如像delete这样的操作符)。相反&#xff0c;是垃圾回收器负责为对象实例调用终结…

使用git工具把项目文件上传到github 的操作

先打开git-bash进入操作界面 cd D: 进入d盘 mkdir myrepo 创建文件 cd myrepo 进入本地仓库文件 git init 初始仓库 &#xff08;rm -rf .git 取消 git init 命令。&#xff09; git add . git status &#xff08;显示你修改的文件具体是哪些&#xff0…

智能分析网关V4基于AI视频智能分析技术的周界安全防范方案

一、背景分析 随着科技的不断进步&#xff0c;AI视频智能检测技术已经成为周界安全防范的一种重要手段。A智能分析网关V4基于深度学习和计算机视觉技术&#xff0c;可以通过多种AI周界防范算法&#xff0c;实时、精准地监测人员入侵行为&#xff0c;及时发现异常情况并发出警报…