搭建grafana+loki+promtail日志收集系统

准备工作

下载地址

https://github.com/grafana/loki/releases

安装包放在服务器目录:/opt

wget https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-amd64.zip
wget https://github.com/grafana/loki/releases/download/v2.4.2/promtail-linux-amd64.zip

1、启动loki

1)解压loki-linux-amd64.zip

unzip loki-linux-amd64.zip 

2)授权

chmod a+x loki-linux-amd64

3)配置文件loki.yaml

vi loki.yamlauth_enabled: falseserver:http_listen_port: 3100grpc_listen_port: 3110grpc_server_max_recv_msg_size: 1073741824  #grpc最大接收消息值,默认4mgrpc_server_max_send_msg_size: 1073741824  #grpc最大发送消息值,默认4mingester:lifecycler:address: 127.0.0.1ring:kvstore:store: inmemoryreplication_factor: 1final_sleep: 0schunk_idle_period: 5mchunk_retain_period: 30smax_transfer_retries: 0max_chunk_age: 20m  #一个timeseries块在内存中的最大持续时间。如果timeseries运行的时间超过此时间,则当前块将刷新到存储并创建一个新块schema_config:configs:- from: 2021-01-01store: boltdbobject_store: filesystemschema: v11index:prefix: index_period: 168hstorage_config:boltdb:directory: /opt/loki/index #存储索引地址filesystem:directory: /opt/loki/chunkslimits_config:enforce_metric_name: falsereject_old_samples: truereject_old_samples_max_age: 168hingestion_rate_mb: 30  #修改每用户摄入速率限制,即每秒样本量,默认值为4Mingestion_burst_size_mb: 15  #修改每用户摄入速率限制,即每秒样本量,默认值为6Mchunk_store_config:#max_look_back_period: 168h   #回看日志行的最大时间,只适用于即时日志max_look_back_period: 0stable_manager:retention_deletes_enabled: false #日志保留周期开关,默认为falseretention_period: 0s  #日志保留周期

4)启动进程

nohup /opt/loki/loki-linux-amd64 -config.file=/opt/loki/loki.yaml >loki.out 2>&1 &

2、启动promtail

1)解压loki-linux-amd64.zip

unzip promtail-linux-amd64.zip

2)授权

chmod a+x promtail-linux-amd64

3)配置文件promtail.yaml

vi promtail.yamlserver:http_listen_port: 9080grpc_listen_port: 0grpc_server_max_recv_msg_size: 15728640grpc_server_max_send_msg_size: 15728640positions:filename: /opt/loki/positions.yaml # This location needs to be writeable by promtail.client:url: http://xx.xx.xx.xx:3100/loki/api/v1/push#https://grafana.com/docs/loki/latest/clients/promtail/configuration/
scrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: messages__path__: /var/log/messages
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs__path__: /var/log/*log
- job_name: systemstatic_configs:- targets:- localhostlabels:job: secure__path__: /var/log/secure
#lastlog
- job_name: systemstatic_configs:- targets:- localhostlabels:job: lastlog__path__: /var/log/lastlog
#cron
- job_name: systemstatic_configs:- targets:- localhostlabels:job: cron__path__: /var/log/cron

4)启动进程

nohup /opt/loki/promtail-linux-amd64 -config.file=/opt/loki/promtail.yaml >promtail.out 2>&1 &

3、启动grafana

1)安装

官网安装教程地址:Download Grafana | Grafana Labs

wget https://dl.grafana.com/oss/release/grafana-7.4.3-1.x86_64.rpm 
sudo yum install grafana-7.4.3-1.x86_64.rpm 

2)启动

systemctl start grafana-server

3)查看状态

systemctl status grafana-server

4、logcli

1)下载

wget https://github.com/grafana/loki/releases/download/v2.4.2/logcli-linux-amd64.zip

2)解压logcli-linux-amd64.zip

unzip logcli-linux-amd64.zip

3)授权

chmod a+x logcli-linux-amd64.zip

4)查看


{job="cron"} |~ "ERROR"!= "(python3)"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/41366.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【备战csp-j】csp常考题目详解(3)

三.排列组合 1. 7名学生站成一排,甲、乙必须站在一起有多少不同排法? 答案:1440 解析: 6组人进行全排列:A(6,6); 甲和乙的顺序有两种情况,所以结果要再乘2; …

影响力再度提升,Smartbi多次蝉联Gartner、IDC等权威认可

近期,思迈特软件捷报频传,Smartbi凭借技术创新实力和产品能力,成功入选Gartner中国增强数据分析代表厂商及自助分析代表厂商,同时,连续三年蝉联“IDC中国FinTech 50”榜单。 Part.1 再次被Gartner提名 Smartbi深度融…

重塑DTC规则:元气森林的全渠道转型

元气森林作为迄今为止用5-6年时间最快达到70亿年销售额的饮料品牌(统一、可口可乐、东鹏特饮都花了15年左右,康师傅花了10年)。元气森林于2016年在北京创立,凭借健康产品理念和新潮营销方式,一款主打“0糖0卡0脂”概念…

激活函数总结(十一):激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

激活函数总结(十一):激活函数补充 1 引言2 激活函数2.1 Absolute激活函数2.2 Bipolar激活函数2.3 Bipolar Sigmoid激活函数 3. 总结 1 引言 在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、…

C++ auto关键字

文章目录 一、auto的推导规则二、auto的限制 C11 中有:auto 类型推导 auto x 5; // OK: x 是 int 类型 auto pi new auto(1); // OK: pi 被推导为 int* const auto *v &x, u 6; // OK: v是const int*类型,u是const int类型 static auto y 0.0;…

【Java】批量生成条形码-itextpdf

批量生成条形码 Controller ApiOperation("商品一览批量生成商品条形码")PostMapping("/batchGenerateProdBarCode")public void batchGenerateProdBarCode(RequestBody ProductListCondition productListCondition,HttpServletResponse response){import…

使用Spring-Security后,浏览器不能缓存的问题

Spring-Security在默认情况下是不允许客户端进行缓存的,在使用时可以通过禁用Spring-Security中的cacheControl配置项允许缓存。 protected void configure(HttpSecurity http) throws Exception {// 允许缓存配置http.headers().cacheControl().disable(); }

Java中使用流将两个集合根据某个字段进行过滤去重?

Java中使用流将两个集合根据某个字段进行过滤去重? 在Java中,您可以使用流(Stream)来过滤和去重两个集合。下面是一个示例代码,展示如何根据对象的某个字段进行过滤和去重操作: import java.util.ArrayList; import java.util.List; impor…

“代码驭宠而行“:探索Python的魔法世界,开启编程奇幻之旅!

文章目录 🍀引言🍀第一步:安装Python和开发环境🍀第二步:掌握基本语法🍀第三步:使用Python库和模块🍀第四步:实践项目和练习🍀第五步:学习进阶主题…

origin修改默认的字体等

因为默认是中文宋体,每次切换成英文尤其是希腊字母就很麻烦。 选择菜单栏的【设置】——【选项】点击。 弹出窗口中选择【文本字体】 设置成你需要的字体就好。 这里同样可以更改页面、图等的默认设置。 效果: 选择插入文字后,自动更改成…

银河麒麟V10 达梦安装教程

安装前先准备要安装包,包需要需要区分X86和arm架构。 版本为:dm8_20230419_FTarm_kylin10_sp1_64.iso 达梦数据库下载地址: https://www.aliyundrive.com/s/Qm7Es5BQM5U 第一步创建用户 su - root 1. 创建安装用户组 dminstall。 groupad…

前馈神经网络优化器

引用的知乎上的文章内容,现在有些地方还不太明白,留待以后查看。 import math import numpy as np import matplotlib.pyplot as pltRATIO 3 # 椭圆的长宽比 LIMIT 1.2 # 图像的坐标轴范围class PlotComparaison(object):"""多种优化…

Python爬虫的应用场景与技术难点:如何提高数据抓取的效率与准确性

作为专业爬虫程序员,我们在数据抓取过程中常常面临效率低下和准确性不高的问题。但不用担心!本文将与大家分享Python爬虫的应用场景与技术难点,并提供一些实际操作价值的解决方案。让我们一起来探索如何提高数据抓取的效率与准确性吧&#xf…

python3实现线性规划求解

Background 对于数学规划问题,有很多的实现。MatlabYALMIPCPLEX这个组合应该是比较主流的,尤其是在电力相关系统中占据着比较重要的地位。MATLAB是一个强大的数值计算工具,用于数学建模、算法开发和数据分析。Yalmip是一个MATLAB工具箱&#…

MongoDB:MySQL,Redis,ES,MongoDB的应用场景

简单明了说明MySQL,ES,MongoDB的各自特点,应用场景,以及MongoDB如何使用的第一章节. 一. SQL与NoSQL SQL被称为结构化查询语言.是传统意义上的数据库,数据之间存在很明确的关联关系,例如主外键关联,这种结构可以确保数据的完整性(数据没有缺失并且正确).但是正因为这种严密的结…

神经网络基础-神经网络补充概念-34-正则化

概念 正则化是一种用于控制模型复杂度并防止过拟合的技术,在机器学习和深度学习中广泛应用。它通过在损失函数中添加一项惩罚项来限制模型的参数,从而使模型更倾向于选择简单的参数配置。 理解 L1 正则化(L1 Regularization)&a…

数据分析 | Boosting与Bagging的区别

Boosting与Bagging的区别 Bagging思想专注于降低方差,操作起来较为简单,而Boosting思想专注于降低整体偏差来降低泛化误差,在模型效果方面的突出表现制霸整个弱分类器集成的领域。具体区别体现在如下五点: 弱评估器:Ba…

vb数控加工技术教学素材资源库的设计和构建

摘 要 20世纪以来,社会生产力迅速发展,科学技术突飞猛进,人们进行信息交流的深度与广度不断增加,信息量急剧增长,传统的信息处理与决策的手段已不能适应社会的需要,信息的重要性和信息处理问题的紧迫性空前提高了,面对着日益复杂和不断发展,变化的社会环境,特别是企业…

Windows上使用dump文件调试

dump文件 dump文件记录当前程序运行某一时刻的信息,包括内存,线程,线程栈,变量等等,相当于调试程序时运行到某个断点上,把程序运行的信息记录下来。可以通过Windbg打开dump,查看程序运行的变量…

mysql 修改存储路径,重启失败授权

目录 停掉mysql修改mysql 配置文件my.cnf目录授权重启mysql 停掉mysql 修改mysql 配置文件my.cnf 更改mysql 存储位置 到/data/mysql_data目录下: datadir/data/mysql/mysql_data/socket/data/mysql/mysql_data/mysql.sockmysql 默认路么径在 /var/lib/mysql/ 防止…