南通的网站建设/网络媒体发稿平台

南通的网站建设,网络媒体发稿平台,广州哪家做网站最好,网站流量大小对网站有什么影响VFG 技术架构 Filebeat 接收Syslog ，并进行日志分段，VictoriaLogs 持久化存储日志 ，Grafana 可视化、数据查询、告警、数据导出。 为什么要用VictoriaLogs ？ 与Elasticsearch /Grafana Loki相比几十倍的CPU/内存/存储资源占用的…

VFG 技术架构

Filebeat 接收Syslog ，并进行日志分段，VictoriaLogs 持久化存储日志 ，Grafana 可视化、数据查询、告警、数据导出。

为什么要用VictoriaLogs ？

  • 与Elasticsearch /Grafana Loki相比几十倍的CPU/内存/存储资源占用的差距，能极大的节省硬件资源。

  • VGF可以实现ELK的Web查询、日志压缩存储、syslog 日志接收。

简介

  • VictoriaLogs 兼容支持多种数据输入软件，Filebeat 也支持多种数据输入。

  • VictoriaLogs 的Web UI很简陋，所以要用Grafana。

  • VictoriaLogs 是HTTP访问是无认证的，需要套其他软件来实现。（默认端口9428）

  • VictoriaLogs 的数据过期时间是全局的，所以如果有需求，只能部署多个实例。

  • Filebeat 相对Logstash 性能更好，也比VictoriaLogs 自带的Syslog输入功能更多。

Docker 国内安装

https://mirror.nju.edu.cn/mirrorz-help/docker-ce/?mirror=NJU

Docker Hub国内加速

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://dockerproxy.com","https://docker.mirrors.ustc.edu.cn","https://docker.nju.edu.cn"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

部署VictoriaLogs

​

创建 victoria-logs-data 文件夹

​

docker run -d --restart always \-p 9428:9428 \-v ./victoria-logs-data:/victoria-logs-data \--name victoria-logs-syslog-songxwn.com \docker.io/victoriametrics/victoria-logs:latest \--retentionPeriod=365d# by songxwn.com

​

  • 9428/tcp 对外HTTP访问

  • 数据保留365天

  • ./victoria-logs-data 为存储目录

部署Grafana

docker run -d --name=grafana -p 3000:3000 \-e GF_INSTALL_PLUGINS=victoriametrics-logs-datasource \--name Grafana \grafana/grafana-enterprise

Grafana 接入VictoriaLogs 数据源

插件已默认安装，添加对应数据源即可，目标为 http://192.168.1.1:9428

Filebeat 部署 - 接收Syslog，输出到VL

vim filebeat.docker.yml

filebeat.inputs:- type: udpenabled: truemax_message_size: 10KiBhost: "0.0.0.0:514"fields:type: udpoutput.elasticsearch:hosts: ["http://127.0.0.1:9428/insert/elasticsearch/"]parameters:_msg_field: "message"_time_field: "@timestamp"_stream_fields: "host.hostname"allow_older_versions: true

PS：注意 127.0.0.1 替换为宿主机IP.

运行

docker run -d  \--name Filebeat \--user=root \--volume="$(pwd)/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \-p 514:514/udp \docker.elastic.co/beats/filebeat:8.17.2

Docker compose 一把梭

创建并进入 /opt/VFG文件夹

mkdir /opt/VFGcd /opt/VFG

filebeat配置文件 - vim filebeat.docker.yml

http:enabled: truehost: "http://0.0.0.0:5066"filebeat.inputs:- type: udpenabled: truemax_message_size: 10KiBhost: "0.0.0.0:514"fields:type: udpoutput.elasticsearch:hosts: ["http://syslog-victoria-logs:9428/insert/elasticsearch/"]parameters:_msg_field: "message"_time_field: "@timestamp"_stream_fields: "host.hostname"allow_older_versions: true

PS：如果需要字段分割，可以参考如下。增加到输入输出中间即可。

processors:- dissect:tokenizer: "<%{syslog_pri}>%{timestamp} %{hostname} %%{log_level}/%{log_code}/%{log_action}(l):IPVer=%{ipver},Protocol=%{protocol},SourceIP=%{source_ip},DestinationIP=%{destination_ip},SourcePort=%{source_port},DestinationPort=%{destination_port},SourceNatIP=%{source_nat_ip},SourceNatPort=%{source_nat_port},BeginTime=%{begin_time},EndTime=%{end_time},S>field: "message"target_prefix: "parsed"

victoria-logs 数据目录

mkdir victoria-logs-datachown -R 472:472 victoria-logs-data

Grafana 数据目录和配置文件

mkdir grafana-datachown -R 472:472 grafana-data

数据源配置文件

mkdir -p ./provisioning/datasourcesvim ./provisioning/datasources/vm.ymlapiVersion: 1
datasources:# <string, required> Name of the VictoriaLogs datasource# displayed in Grafana panels and queries.- name: VictoriaLogs-songxwn.com# <string, required> Sets the data source type.type: victoriametrics-logs-datasource# <string, required> Sets the access mode, either# proxy or direct (Server or Browser in the UI).access: proxy# <string> Sets URL for sending queries to VictoriaLogs server.# see https://docs.victoriametrics.com/victorialogs/querying/url: http://syslog-victoria-logs:9428# <string> Sets the pre-selected datasource for new panels.# You can set only one default data source per organization.isDefault: true

vim docker-compose.yml 文件

services:victoria-logs:image: victoriametrics/victoria-logs:latestcontainer_name: syslog-victoria-logsvolumes:- ./victoria-logs-data:/victoria-logs-datarestart: alwayscommand: ["--retentionPeriod=365d"]environment:- TZ=Asia/Shanghaihealthcheck:test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9428/health"]interval: 1m30stimeout: 10sretries: 3grafana:image: grafana/grafana-enterprisecontainer_name: syslog-grafanaports:- "3000:3000"environment:- GF_INSTALL_PLUGINS=victoriametrics-logs-datasource- GF_SECURITY_ADMIN_PASSWORD=Songxwn.com- TZ=Asia/Shanghaivolumes:- ./grafana-data:/var/lib/grafana- ./provisioning:/etc/grafana/provisioningrestart: alwayshealthcheck:test: ["CMD", "curl", "-f", "http://localhost:3000/api/health"]interval: 1m30stimeout: 10sretries: 3filebeat:image: docker.elastic.co/beats/filebeat:8.17.2container_name: syslog-filebeatports:- "514:514/udp"volumes:- ./filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:rorestart: alwaysenvironment:- TZ=Asia/Shanghaihealthcheck:test: ["CMD", "curl", "-f", "http://localhost:5066"]interval: 60stimeout: 10sretries: 3

compose 启动命令 （需要Docker Engine 19.03.0以上版本）


docker compose up -d

停止、升级


docker compose downdcker compose pulldocker compose up -d

compose文件说明

1. Victoria-Logs 服务
  • 服务名称: victoria-logs
  • 镜像: 使用 victoriametrics/victoria-logs:latest 镜像。
  • 容器名称: syslog-victoria-logs
  • 数据卷: 挂载本地目录 ./victoria-logs-data 到容器内的 /victoria-logs-data，用于持久化存储。
  • 重启策略: 设置为 always，确保容器在运行失败后自动重启。
  • 启动命令: 指定命令参数 --retentionPeriod=365d，表示日志保留期为365天。
  • 环境变量: 设置时区为 Asia/Shanghai。
  • 健康检查:
    • 执行 wget -q --spider http://127.0.0.1:9428/health 检查服务的健康状态。
    • 每 1分30秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。
2. Grafana 服务
  • 镜像: 使用 grafana/grafana-enterprise 镜像。
  • 容器名称: syslog-grafana
  • 端口映射: 将主机的 3000 端口映射到容器的 3000 端口，供外部访问 Grafana。
  • 环境变量:
    • 安装插件 victoriametrics-logs-datasource。
    • 设置初始管理员密码为 Songxwn.com。
    • 设置时区为 Asia/Shanghai。
  • 数据卷:
    • 挂载本地目录 ./grafana-data 到容器中的 /var/lib/grafana，用于持久化 Grafana 的数据。
    • 挂载本地目录 ./provisioning 到 /etc/grafana/provisioning，用于配置预置的数据源和仪表盘。
  • 重启策略: 设置为 always。
  • 健康检查:
    • 执行 curl -f http://localhost:3000/api/health 检查服务的健康状态。
    • 每 1分30秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。
3. Filebeat 服务
  • 镜像: 使用 docker.elastic.co/beats/filebeat:8.17.2 镜像。
  • 容器名称: syslog-filebeat
  • 端口映射: 将主机的 514/udp 端口映射到容器的 514/udp 端口，用于接收 Syslog。
  • 数据卷: 将本地的 filebeat.docker.yml 配置文件挂载到容器内的 /usr/share/filebeat/filebeat.yml，且为只读。
  • 重启策略: 设置为 always。
  • 环境变量: 设置时区为 Asia/Shanghai。
  • 健康检查:
    • 执行 curl -f http://localhost:5066 检查服务的健康状态。
    • 每 60秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。

这些配置用来部署和管理 Victoria-Logs、Grafana 和 Filebeat 服务，确保它们处于良好运行状态，且在故障发生时可以自动恢复。各自的健康检查提供了针对服务运行状态的简易确认方式，进一步提高系统的稳定性和可靠性。

VFG Compose 部署使用

  • 发送日志到udp/514 端口，即可存储到数据库。 echo "songxwn.com\!" | nc -4u 202.182.109.11 514 命令用来测试发送

  • 访问到Grafana Web 3000端口，使用admin/Songxwn.com 登录。

  • 可以通过已经预先创建的数据源VictoriaLogs-songxwn.com，通过Explore 查询日志（LogsQL语法，* 匹配所有 ）和导出为CSV文件。

  • Grafana 也可以进行日志告警和构建可视化仪表盘。

Grafana 示例

在这里插入图片描述

资源占用 - 有较高日志输入的情况下

​

CONTAINER ID   NAME                   CPU %     MEM USAGE / LIMIT     MEM %     NET I/O           BLOCK I/O        PIDS
1c7fe73fc896   syslog-filebeat        0.52%     63.14MiB / 3.822GiB   1.61%     14.1MB / 5.38MB   0B / 8.19kB      15
4a6ee8b19475   syslog-grafana         0.61%     147.3MiB / 3.822GiB   3.76%     9.85MB / 12.8MB   299kB / 305MB    33
a80d91af294c   syslog-victoria-logs   0.04%     195.7MiB / 3.822GiB   5.00%     5.4MB / 604kB     520kB / 6.86MB   14

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/895488.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

初识camel智能体（一）

初识camel智能体（一）

同目录下配置环境变量.env&#xff0c;内容如下&#xff0c; apikey从魔搭社区获取 QWEN_API_KEY4ff3ac8f-aebc******** 先上干货代码&#xff0c;主代码如下&#xff1a; from colorama import Forefrom camel.societies import RolePlaying from camel.utils import prin…
阅读更多...
如何保持 mysql 和 redis 中数据的一致性？PegaDB 给出答案

如何保持 mysql 和 redis 中数据的一致性？PegaDB 给出答案

MySQL 与 Redis 数据保持一致性是一个常见且复杂的问题&#xff0c;一般来说需要结合多种策略来平衡性能与一致性。 传统的解决策略是先读缓存&#xff0c;未命中则读数据库并回填缓存&#xff0c;但方式这种维护成本较高。 随着云数据库技术的发展&#xff0c;目前国内云厂商…
阅读更多...
探索ELK 的魅力

探索ELK 的魅力

在大数据时代&#xff0c;海量日志和数据的收集、存储、处理与可视化分析变得越来越重要。而 ELK 堆栈&#xff0c;由 Elasticsearch、Logstash、Beats 和 Kibana 组成&#xff0c;正是一个强大的开源解决方案&#xff0c;帮助开发者和运维人员高效管理和分析日志数据。本文将详…
阅读更多...
深度学习实战基础案例——卷积神经网络（CNN）基于DenseNet的眼疾检测|第4例

深度学习实战基础案例——卷积神经网络（CNN）基于DenseNet的眼疾检测|第4例

文章目录 前言一、数据准备二、项目实战2.1 设置GPU2.2 数据加载2.3 数据预处理2.4 数据划分2.5 搭建网络模型2.6 构建densenet1212.7 训练模型2.8 结果可视化 三、UI设计四、结果展示总结 前言 在当今社会&#xff0c;眼科疾病尤其是白内障对人们的视力健康构成了严重威胁。白…
阅读更多...
代码随想录二叉树篇（含源码）

代码随想录二叉树篇（含源码）

二叉树与递归 前言226.翻转二叉树算法思路及代码solution 1 用分解问题的思路来解决solution 2 用遍历的思路来解决 101.对称二叉树算法思路及代码solution 104.二叉树的最大深度算法思路及代码solution 1 遍历solution 2 分解问题 111.二叉树的最小深度算法思路及代码solution…
阅读更多...
MyBatis映射文件 ＜resultMap＞ 元素详解与示例

MyBatis映射文件 ＜resultMap＞ 元素详解与示例

引言 <resultMap> 是 MyBatis 中最核心的映射配置元素&#xff0c;用于解决数据库字段与 Java 对象属性之间的复杂映射问题&#xff0c;尤其是字段名不一致、嵌套对象关联、集合映射等场景。ResultMap 的设计思想是&#xff0c;对简单的语句做到零配置&#xff0c;对于复…
阅读更多...
WIN11上使用GraalVM打包springboot3项目为本地可执行文件exe

WIN11上使用GraalVM打包springboot3项目为本地可执行文件exe

耐心肝才能成功 概念步骤概要详细步骤一. GraalVM 17二. 安装Visual Studio 2022三. 创建springboot四. IDEA最新版或者eclipse2025调试项目五. 打包exe 概念 springboot3生成的jar编译成windows本地C文件&#xff0c;不再依赖JVM运行 WINDOW编译较为复杂&#xff0c;限制条件…
阅读更多...
【git-hub项目：YOLOs-CPP】本地实现01：项目构建

【git-hub项目：YOLOs-CPP】本地实现01：项目构建

目录 写在前面 项目介绍 最新发布说明 Segmentation示例 功能特点 依赖项 安装 克隆代码仓库 配置 构建项目 写在前面 前面刚刚实现的系列文章： 【Windows/C++/yolo开发部署01】 【Windows/C++/yolo开发部署02】 【Windows/C++/yolo开发部署03】 【Windows/C++/yolo…
阅读更多...
超越 DeepSeek V3 --＞【Qwen2.5-Max】

超越 DeepSeek V3 --＞【Qwen2.5-Max】

&#x1f525; 先说明&#xff0c;不是广子&#xff0c;不是广子&#xff01;&#xff01;&#xff01;单纯分享这个工具给大家&#xff0c;毕竟最近使用 DeepSeek 太容易崩了&#xff0c;每天深度思考一次之后就开始转圈圈用不了&#xff0c;然后就找到了这个工具使用 一、前言…
阅读更多...
python自动化测试之Pytest框架之YAML详解以及Parametrize数据驱动!

python自动化测试之Pytest框架之YAML详解以及Parametrize数据驱动!

一、YAML详解 YAML是一种数据类型&#xff0c;它能够和JSON数据相互转化&#xff0c;它本身也是有很多数据类型可以满足我们接口 的参数类型&#xff0c;扩展名可以是.yml或.yaml 作用&#xff1a; 1.全局配置文件 基础路径&#xff0c;数据库信息&#xff0c;账号信息&…
阅读更多...
CentOS 7操作系统部署KVM软件和创建虚拟机

CentOS 7操作系统部署KVM软件和创建虚拟机

CentOS 7.9操作系统部署KVM软件和配置指南&#xff0c;包括如何创建一个虚拟机。 步骤 1: 检查硬件支持 首先&#xff0c;确认您的CPU支持虚拟化技术&#xff0c;并且已在BIOS中启用&#xff1a; egrep -c (vmx|svm) /proc/cpuinfo 如果输出大于0&#xff0c;则表示支持虚拟…
阅读更多...
日本 万叶假名

日本 万叶假名

万叶假名&#xff08;まんようがな&#xff0c;Manyōgana&#xff09;是一种早期的日语书写系统&#xff0c;主要用于《万叶集》等古代文献中。它的特点是完全使用汉字来表示日语的音&#xff0c;不考虑汉字的原意。可以将其视为平假名和片假名的前身。 记住是唐代的发音不是…
阅读更多...
【鸿蒙HarmonyOS Next实战开发】实现组件动态创建和卸载-优化性能

【鸿蒙HarmonyOS Next实战开发】实现组件动态创建和卸载-优化性能

一、简介 为了解决页面和组件加载缓慢的问题&#xff0c;ArkUI框架引入了动态操作功能&#xff0c;支持组件的预创建&#xff0c;并允许应用在运行时根据实际需求动态加载和渲染组件。 这些动态操作包括动态创建组件&#xff08;即动态添加组件&#xff09;和动态卸载组件&am…
阅读更多...
MongoDB 7 分片副本集升级方案详解（上）

MongoDB 7 分片副本集升级方案详解（上）

#作者&#xff1a;任少近 文章目录 前言&#xff1a;Mongodb版本升级升级步骤环境1.1环境准备1.2standalone升级1.3分片、副本集升级 前言&#xff1a;Mongodb版本升级 在开始升级之前&#xff0c;请参阅 MongoDB下个版本中的兼容性变更文档&#xff0c;以确保您的应用程序和…
阅读更多...
AI前端开发：跨领域合作的新引擎

AI前端开发：跨领域合作的新引擎

随着人工智能技术的飞速发展&#xff0c;AI代码生成器等工具的出现正深刻地改变着软件开发的模式。 AI前端开发的兴起&#xff0c;不仅提高了开发效率&#xff0c;更重要的是促进了跨领域合作&#xff0c;让数据科学家、UI/UX设计师和前端工程师能够更紧密地协同工作&#xff0…
阅读更多...
DeepSeek 助力 Vue 开发：打造丝滑的返回顶部按钮（Back to Top）

DeepSeek 助力 Vue 开发：打造丝滑的返回顶部按钮（Back to Top）

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 Deep…
阅读更多...
Java练习（20）

Java练习（20）

ps:练习来自力扣 给你一个 非空 整数数组 nums &#xff0c;除了某个元素只出现一次以外&#xff0c;其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题&#xff0c;且该算法只使用常量额外空间。 class Solution {pu…
阅读更多...
Tetragon：一款基于eBPF的运行时环境安全监控工具

Tetragon：一款基于eBPF的运行时环境安全监控工具

关于Tetragon Tetragon是一款基于eBPF的运行时环境安全监控工具&#xff0c;该工具可以帮助广大研究人员检测并应对安全重大事件&#xff0c;例如流程执行事件、系统调用活动、I/O活动&#xff08;包括网络和文件访问等&#xff09;。 在 Kubernetes 环境中使用时&#xff0c;…
阅读更多...
Qt多线程技术【线程池】：QRunnable 和 QThreadPool

Qt多线程技术【线程池】：QRunnable 和 QThreadPool

在现代软件开发中&#xff0c;尤其是在处理大量并发任务时&#xff0c;线程池技术是一种高效的解决方案。线程池不仅能提高程序的性能&#xff0c;还能有效管理线程的生命周期&#xff0c;避免频繁的线程创建和销毁所带来的性能损失。本文将以Qt中的 QThreadPool 和 QRunnable …
阅读更多...
218.子结构判断

218.子结构判断

class Solution {/*** 判断树 B 是否是树 A 的子结构* param A 树 A 的根节点* param B 树 B 的根节点* return 如果 B 是 A 的子结构&#xff0c;返回 true&#xff1b;否则返回 false*/public boolean isSubStructure(TreeNode A, TreeNode B) {// 如果树 B 为空&#xff0c;…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023