基于elastic stack搭建的ELK系统资源占用预估

1、ES

1.1 内存:ES非常消耗内存,不是JVM用到的内存,而是机器的物理内存,ES在运行期间对JVM Heap(堆内存)的需求较小

实践建议:

  • 数据量过百万,建议单台服务器的内存至少要有16GB;
  • 数据量过亿,建议单台服务器的内存至少要有64GB

1.2 CPU:ES集群对CPU的要求比较低

实践建议:

  • 小型集群(开发/测试):2-4个vCPU。
  • 中型集群(中等负载的生产环境):8-16个vCPU。
  • 大型集群(高负载的生产环境):16个以上的vCPU

1.3 JVM配置:ES服务中,JVM Heap 堆内存一般不超过服务器物理内存的一半,建议1/4。

2、Logstash

CPU: 2-4个vCPU,具体取决于日志处理和过滤的复杂度。

内存: 至少4GB RAM,推荐8GB RAM或更多,具体取决于处理的数据量。

存储: 通常不需要大量存储,因为Logstash处理完数据后会将其转发到Elasticsearch。

3、Kibana

CPU: 2-4个vCPU。

内存: 至少4GB RAM,推荐8GB RAM或更多,具体取决于用户查询和仪表盘的复杂度。

存储: 通常不需要大量存储,除非在Kibana中保存了大量的持久化仪表板和可视化。

4、建议中型生产环境的Elastic Stack集群:

Elasticsearch:

3个主节点,每个节点:4 vCPU, 8GB RAM。

3个数据节点,每个节点:8 vCPU, 32GB RAM, 2TB SSD。

Logstash:

2个实例,每个实例:4 vCPU, 8GB RAM。

Kibana:

2个实例,每个实例:4 vCPU, 8GB RAM。

Beats:

部署在每个需要收集数据的主机上,资源需求较低,例如:1 vCPU, 1GB RAM。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/861893.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络之数据通信原理(下)

上一讲内容:数据传输方式、数据传输形式、传输差错处理、常用差错检测方法 数据通信过程中,一个很重要的问题就是如何控制数据的传输,就涉及到了传输控制规程(协议) 下面介绍两种: ①BSC:面向…

鸿蒙 HarmonyOS NEXT星河版APP应用开发-阶段一

一、鸿蒙开发环境搭建 DevEco Studio安装 下载 访问官网:https://developer.huawei.com/consumer/cn/deveco-studio/选择操作系统版本后并注册登录华为账号既可下载安装包 安装 建议:软件和依赖安装目录不要使用中文字符软件安装包下载完成后&#xff0…

GGUF模型转换入门

一、定义 1 定义 2 案例 二、实现 定义 GGUF是一种大模型文件格式,由开发者Georgi Gerganov提出。 这是一种针对大规模机器学习模型设计的二进制格式文件规范。它的主要优势在于能够将原始的大模型预训练结果经过特定优化后转换成这种格式,从而可以更…

鸿蒙Harmony开发实战案例:使用OpenGL绘制3D图形

XComponent控件常用于相机预览流的显示和游戏画面的绘制,在OpenHarmony上,可以配合Native Window创建OpenGL开发环境,并最终将OpenGL绘制的图形显示到XComponent控件。本文将采用"Native C"模板,调用OpenGL ES图形库绘制3D图形&…

python之__call__函数介绍

Python 中的 __call__ 方法是一种特殊的方法,它允许对象像函数一样被调用。当你创建一个对象并使用括号 () 调用它时,Python 会自动调用这个对象的 __call__ 方法。 1. 基本用法 下面是一个简单的例子: class MyClass:def __init__(self, value):self.value valued…

yaml文件的介绍-K8S

yaml 文件是我们使用K8S管理应用程序常用的部署方式,它主要是通过一系列键值对组成,键和值使用冒号和空格分隔。以下是对yaml的介绍 首先我们可以使用命令生成一个简单的YAML模版文件 Kubectl run nginx-pod –imagenginx:latest –port80 –dry-runcli…

使用FRP 0.58版本进行内网穿透的详细教程

什么是FRP? FRP(Fast Reverse Proxy)是一款高性能的反向代理应用,主要用于内网穿透。通过FRP,您可以将内网服务暴露给外网用户,无需进行复杂的网络配置。 准备工作 服务器:一台具备公网IP的服…

CSS基础学习记录(6)

目录 1、从最基本的页面开始 2、添加图像/浮层部分 3、位置调整 4、添加动效 4.1、添加浮层动效 4.2、添加背景动画 根据前面css的学习,本篇来实践下前面学习的知识,主要实现如下这样的效果。 下面我们一步步实现上面的效果。 1、从最基本的页面开…

Redis 缓存问题及解决

所有问题解决的关键就是尽少的访问数据库,或者避免太集中的访问。 一,缓存穿透(key在数据库不存在) 当数据既不在缓存中,也不在数据库中,导致请求访问缓存没数据,访问数据库也没数据&#xff0c…

理解java AWT中的FlowLayout的使用

目录 背景: 代码示例: 代码详细解析: 总结: 背景: 在java的AWT(Abstract Window Toolkit)库中,Frame和FlowLayout是两个常用的类,它们分别用于创建窗口和设置窗口内组件的布局,下面的代码示例,解释Frame和FlowLayout的基本用…

【LeetCode】八、堆的使用:第K个最大元素 + 前K和高频单词

文章目录 1、Java中的堆结构2、leetcode215:数组中的第K个最大元素3、leetcode692:前K个高频单词 1、Java中的堆结构 PriorityQueue类取堆顶元素删除堆顶元素堆的元素个数遍历堆 2、leetcode215:数组中的第K个最大元素 这题应该快排来解&…

使用 privacyIDEA 实现 Windows RDP 多因素认证 (MFA)

前言 在等保 2.0 标准中有要求: d)应采用口令、密码技术、生物技术等两种或两种以上组合的鉴别技术对用户进行身份鉴别,且其中一种鉴别技术至少应使用密码技术来实现。 可以借助开源的 privacyIDEA 配合 AD 域环境实现 RDP MFA 认证登录以满足上面的要…

Dxf库中的DL_CreationAdapter与DL_CreationInterface

在软件工程中,适配器模式(Adapter Pattern)用于将一个类的接口转换成客户希望的另一个接口。在 DXF 文件解析中,DL_CreationAdapter 和 DL_CreationInterface 可能用于适配不同的数据结构或接口,使得解析器能够处理不同…

音视频入门基础:H.264专题(7)——FFmpeg源码中 指数哥伦布编码的解码实现

一、引言 由于视频的传输和存贮是十分在乎体积的,对于每一个比特(bit)都要格外珍惜,所以H.264中用到了多种熵编码来对原本的数据进行压缩。 比如Sequence Paramater Set(sps / 序列参数集)中,s…

pyqt的QWidgetList如何多选?如何按下Ctrl多选?

通过设置setSelectionMode(QAbstractItemView.MultiSelection),可以实现QWidgetList的多选。 但是上述结果不太符合我们需求。设置多选模式后,只需鼠标点击就可以选择多个条目。 我希望按下Ctrl键时才进行多选,仅鼠标单击的话,只进…

bat命令 批处理 脚本 windows DOS

常见命令解释 命令示例: 文件1.bat echo offstart notepad.exe timeout /t 5 /nobreak start notepad.exe pause echo 当前时间【%time%】 timeout /t 5 /nobreak echo 延时时间【%time%】 pause echo off 执行bat文件的时候,cmd黑框里不显示批处理…

python获取快手账号列表数据

快手数据获取相对简单访问地址固定且不需要登录token 列表地址获取的固定接口 https://www.kuaishou.com/graphql 发送post请求注意每个快手账号对应的id import time from datetime import datetime import logging import json import pymysql import requests# 创建一个lo…

python爬虫之12306模拟登陆

python爬虫之12306模拟登陆 登录流程: 1、登录界面输入账号密码,点击立即登录 2、弹出手机验证界面,输入身份证后4位,点击获取验证码等待验证码后手动输入,点击确定登录 实现代码如下: #需求&#xff1…

CTE(公共表表达式)和视图在查询时的性能影响

在SQL查询优化和数据库设计中,CTE(公共表表达式)和视图都是常用的工具。尽管它们在功能和使用场景上有很多相似之处,但在查询性能方面可能存在显著差异。本文将探讨CTE和视图在查询时的性能影响,帮助您在实际项目中做出…

详细分析Springmvc中的@ModelAttribute基本知识(附Demo)

目录 前言1. 注解用法1.1 方法参数1.2 方法1.3 类 2. 注解场景2.1 表单参数2.2 AJAX请求2.3 文件上传 3. 实战4. 总结 前言 将请求参数绑定到模型对象上,或者在请求处理之前添加模型属性 可以在方法参数、方法或者类上使用 一般适用这几种场景: 表单…