华为云.云日志服务LTS及其基本使用

云计算
云日志服务LTS及其基本使用

- 文章信息 - Author: 李俊才 (jcLee95)
Visit me at CSDN: https://jclee95.blog.csdn.net
My WebSitehttp://thispage.tech/
Email: 291148484@163.com.
Shenzhen China
Address of this article:https://blog.csdn.net/qq_28550263/article/details/140479964
HuaWei:https://bbs.huaweicloud.com/blogs/431260

【介绍】:本文详细介绍了华为云日志服务(LTS)的基本概念和使用方法,包括创建日志组和日志流、安装ICAgent、配置日志采集规则、查看和分析采集到的实时日志等,为读者提供了一个完整的LTS入门指南,帮助读者快速上手使用LTS进行基本日志管理。

在这里插入图片描述


1. 概述

1.1 华为云DRS简介

华为云日志服务(Log Tank Service,简称LTS)是一项一站式日志数据解决方案。它支持日志采集、搜索分析、日志存储、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,用户无需关注扩缩容等资源问题,同时降低了日志运维门槛,有助于提高问题定位和指标监控的效率。

LTS的主要特点包括:

  1. 实时日志采集:支持通过ICAgent、云服务、APISDK等多种方式采集日志。

  2. 高效日志查询:采集的日志数据可在云日志控制台以简单有序的方式展示,方便快速查询。

  3. 结构化分析:支持对日志进行结构化处理,提取固定格式或相似度高的内容,便于使用SQL语法进行查询分析。

  4. 可视化报表:提供多样化的可视化展示功能,如表格、折线图、柱状图、饼图等。

  5. 监控告警:支持创建统计规则,对接告警中心,实现日志的实时监控和告警。

  6. 长期存储:支持将日志转储到对象存储服务(OBS)、数据接入服务(DIS)等,实现长期保存。

LTS可广泛应用于日志采集分析、性能优化、安全审计、运营分析等多个场景,是企业进行日志管理和分析的有力工具。

1.2 实验目的

本实验旨在通过实际操作,帮助读者快速上手使用华为云日志服务(LTS)。具体目标如下:

  1. 了解LTS的基本概念,包括日志组、日志流、ICAgent等。

  2. 掌握创建日志组和日志流的方法。

  3. 学习如何在弹性云服务器(ECS)上安装ICAgent

  4. 配置日志采集规则,将ECS的系统日志接入LTS

  5. 在LTS控制台查看和分析采集到的实时日志。

通过完成这些步骤,读者将能够建立起对LTS的基本认识,并具备使用LTS进行日志管理的基本技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定基础。

本实验采用实际操作的方式,让读者亲身体验LTS的功能和使用流程,从而加深对LTS的理解和掌握。实验中使用的是华为云平台,读者需要准备一个华为云账号,并创建一台ECS实例作为日志源。通过这种实践性的学习,读者可以更好地理解LTS在实际应用中的价值和作用。

1.3 关键概念

在使用华为云日志服务(LTS)之前,了解以下关键概念及其关系非常重要:

  1. 日志组(Log Group)

    • 日志组是LTS中日志管理的基本单位。
    • 它用于对日志进行分类管理,通常可以按照业务类型或应用系统来划分。
    • 一个日志组可以包含多个日志流。
  2. 日志流(Log Stream)

    • 日志流是日志数据的载体,用于存储同一类型的日志数据。
    • 每个日志流都从属于一个特定的日志组。
    • 日志流可以对应到具体的日志文件或日志类型,如应用程序日志、系统日志等。
  3. ICAgent

    • ICAgentLTS提供的日志采集代理程序。
    • 它需要安装在需要采集日志的服务器(如ECS)上。
    • ICAgent负责从服务器上收集日志数据,并将其上传到LTS服务。
  4. 日志主题(Log Topic)

    • 日志主题是对日志数据进行分类的一种方式。
    • 它可以用于将同一日志流中的日志按照不同的主题进行归类。
  5. 结构化配置

    • 结构化配置用于定义如何解析原始日志数据。
    • 通过结构化配置,可以将非结构化的日志转换为结构化数据,便于后续的查询和分析。
  6. 索引配置

    • 索引配置定义了如何对日志数据建立索引。
    • 合理的索引配置可以提高日志查询的效率。

其中

  • 一个LTS账户可以创建多个日志组;
  • 每个日志组可以包含多个日志流;
  • ICAgent安装在需要采集日志的服务器上,负责将日志数据采集到指定的日志流中;
  • 日志流中的数据可以通过结构化配置进行解析,并通过索引配置建立索引;
  • 日志主题则可以用于对同一日志流中的日志进行进一步分类。

2. 准备工作

2.1 创建AK/SK

进入华为云·我的凭证页面:https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey。你想看到如下页面:

在这里插入图片描述
点击左上角的“新增访问密钥”,在模态框弹窗中输入此密钥的描述信息,然后点击确定:

在这里插入图片描述
创建完成后,将弹出“创建成功”弹窗:

在这里插入图片描述
你可以直接点击“立即下载”,这将会下载一个“credentials.csv”文件,你可以使用文本编辑器、Excel等软件打开查看它。
打开后你将看到“User Name”(你的用户名)、“Access Key Id”(AK,访问键ID)、“Secret Access Key”(加密访问密钥)三个字段。你需要妥善保管好他们一面泄露,这可以用于登陆或访问你的华为云的部分资源和相关软件,比如华为云的OBS Browser+ 等。

2.2 创建一个ECS服务器

接下来,我们创建一个ECS服务器用于演示收集其日志。进入华为云·ECS控制台:https://console.huaweicloud.com/ecm/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/ecs/manager/vmList。点击左上角的“购买弹性云服务器”:
在这里插入图片描述
为了实验成本最低,选择一台最低配置的ECS实例:

在这里插入图片描述
选择一个你熟悉的镜像,然后点击右下角的“下一步:配置网络”:

在这里插入图片描述
选择一个VPC,然后考虑是否需要包月或按照流量计费宽带,配置后进入下一步:

在这里插入图片描述
配置ECS实例名称以及登录密码等信息,然后确认配置:

在这里插入图片描述
最后确认配置并提交:

在这里插入图片描述
然后返回ECS列表即可:

在这里插入图片描述

在列表中可以看到我们刚刚所购买的ECS实例:

在这里插入图片描述

3. ECS接入LTS

3.1 创建日志组、日志流

登录华为云·云日志服务LTS控制台页面:https://console.huaweicloud.com/lts/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/cts/manager/groups。在“日志管理”子标签页中向下滚动:

在这里插入图片描述
直到你看到“日志组列表”:

在这里插入图片描述

点击“创建日志组”按钮,输入日志组的相关信息后,点击确认:

在这里插入图片描述

创建完成后,可以在日志组列表中看到刚刚新建的日志组:

在这里插入图片描述
旧版的日志组列表中需要点击去对应的日志组才能为该日志组新建日志流。不过如今的版本可以直接在“日志组列表”中对应的日志组下点击“创建日志流”。果断点击“创建日志流”:

在这里插入图片描述

在此右侧面板中,输入相关信息无误后点击确定,可以看到该日志组的展开信息下多了一条刚刚新建的日志流信息:

在这里插入图片描述
完成这一步后,就可以取安装ICAgent了。

3.2 日志采集工具ICAgent安装

在前文我们已经介绍了如何获取AK/SK,(参见2.1 创建AK/SK)。现在我们需要将AK和SK替换到下面的模板中的{input_your_ak}{input_your_sk}部分,以得到安装命令:

set +o history;curl https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/apm_agent_install.sh > apm_agent_install.sh && REGION=cn-north-4 bash apm_agent_install.sh -ak {input_your_ak} -sk {input_your_sk} -region cn-north-4 -projectid 0c34261a0800f2512f53c006f337ef47 -accessip 100.125.12.150 -obsdomain obs.cn-north-4.myhuaweicloud.com -accessdomain lts-access.cn-north-4.myhuaweicloud.com    ;set -o history;

然后,回到ECS实例页面,选择刚刚创建好用于演示日志采集的服务器,点击“远程登录”:

在这里插入图片描述

滚动到最下侧,点击图示的“立即登录”:

在这里插入图片描述

在新页面的模拟终端中,输入你创建ECS时候设置的root用户密码完成登录:

在这里插入图片描述
将准备好的命令粘贴进去,并运行命令,等待安装完成:
在这里插入图片描述

可以看到这里的信息提示安装成功了。

3.3 接入日志

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了演示,这里笔者配置一些华为云Linux系统运行一阵子必有的日志路径作为采集对象:

在这里插入图片描述
根据你的业务需求取配置“全文索引”、“日志分析”等信息:

在这里插入图片描述

完成后提交或者直接跳过并提交,进行ECS日志接入:

在这里插入图片描述
现在我们可以查看日志流,直接进入被接入的日志流详情,可以看到,创建之初还没有日志信息:

在这里插入图片描述
等待一会,你可可以登录ECS人为搞一些事情,以更快得到更多日志。

在这里插入图片描述

在“实时日志”下方,可以看到不断增加的被LTS(其实是ICAgent)监测到的日志内容:

在这里插入图片描述
可见,我们的ECS日志成功接入了。

在实际项目中,需要接入的往往是各种应用的运行日志,比如Nginx的access.log、error.log,JBoss的server.log等等。

4. 总结

至此,我们已经详细介绍了华为云日志服务(LTS)的基本概念和使用方法。我们首先了解了LTS的功能和特点,然后通过实际操作演示了如何创建日志组和日志流、在ECS上安装ICAgent、配置日志采集规则,最后成功将ECS的系统日志接入LTS并在控制台查看实时日志。这一系列步骤涵盖了LTS使用的基本流程,为读者提供了一个完整的LTS入门指南。

通过本文的学习和实践,期望帮助读者掌握使用LTS进行基本日志管理的技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定了基础。在实际应用中,LTS可以帮助用户更好地监控系统状态、定位故障、分析业务数据,从而提高运维效率和业务洞察能力。希望本文能够帮助读者快速上手LTS,并在实际工作中充分发挥LTS的价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/48614.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024最新版虚拟便携空调小程序源码 支持流量主切换空调型号

产品截图 部分源代码展示 urls.js Object.defineProperty(exports, "__esModule", {value: !0 }), exports.default ["9c5f1fa582bee88300ffb7e28dce8b68_3188_128_128.png", "E-116154b04e91de689fb1c4ae99266dff_960.svg", "573eee719…

mysql的索引、事务和存储引擎

目录 索引 索引的概念 索引的作用 作用 索引的副作用 创建索引 创建索引的原则和依据 索引的类型 创建索引 查看索引 删除索引 drop 主键索引 普通索引 添加普通索引 唯一索引 添加唯一索引 组合索引 添加组合索引 查询组合索引 全文索引 添加全文索引 …

构建高效Node.js中间层:探索请求合并转发的艺术

🎉 博客主页:【剑九 六千里-CSDN博客】 🎨 上一篇文章:【CSS盒模型:掌握网页布局的核心】 🎠 系列专栏:【面试题-八股系列】 💖 感谢大家点赞👍收藏⭐评论✍ 引言&#x…

接口测试JMeter-1.接口测试初识

第一章 接口测试初识 1. 接口测试理论基础 “接口测试”一个让人觉得非常高大上的名词,特别是对于刚入门的测试同学而言。随着测试技术不断的深化,“接口测试”出现在我们视野中的频次越来越高。那么接口测试到底是如何做的?接口测试的优势又…

Flowable-SpringBoot项目集成

在前面的介绍中,虽然实现了绘制流程图,然后将流程图存储到数据库中,然后从数据库中获取流程信息,并部署和启动流程,但是部署的流程绘制器是在tomcat中部署的,可能在部分的项目中,需要我们将流程…

<数据集>pcb板缺陷检测数据集<目标检测>

数据集格式:VOCYOLO格式 图片数量:693张 标注数量(xml文件个数):693 标注数量(txt文件个数):693 标注类别数:6 标注类别名称:[missing_hole, mouse_bite, open_circuit, short, spurious_copper, spur…

git 提交的进阶操作

cherry-pick cherry-pick 是 Git 中的一种操作,允许你从一个分支中选择特定的 commit,并将其应用到另一个分支。它的主要用途是将特定的更改引入到其他分支,而无需合并整个分支历史。这在修复 bug 或者移植某些功能时特别有用。 cherry-pick 的使用场景 Bug 修复: 例如,你…

Python面试宝典第16题:跳跃游戏

题目 给你一个非负整数数组 nums ,你最初位于数组的第一个下标 ,数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标,如果可以,返回 true。否则,返回 false。 示例 1: 输…

detection_segmentation

目标检测和实例分割(OBJECT_DETECTION AND INSTANCE SEGMENTATION) 文章目录 目标检测和实例分割(OBJECT_DETECTION AND INSTANCE SEGMENTATION)一. 计算机视觉(AI VISION)1. 图像分类2. 目标检测与定位3. 语义分割和实例分割目标检测算法可以分为两大类: R-CNN生成…

Linux系统:揭开它神秘面纱的科普之旅

在这个数字化时代,电脑和手机成了我们生活中不可或缺的一部分。而提到这些设备的操作系统,大家可能首先想到的是Windows、macOS或是Android。 但你知道吗,在技术的海洋里,还有一个强大而灵活的操作系统家族,它就是Lin…

python-多任务编程

2. 多任务编程 2.1 多任务概述 多任务 即操作系统中可以同时运行多个任务。比如我们可以同时挂着qq,听音乐,同时上网浏览网页。这是我们看得到的任务,在系统中还有很多系统任务在执行,现在的操作系统基本都是多任务操作系统,具备…

JVM--HostSpot算法细节实现

1.根节点枚举 定义: 我们以可达性分析算法中从GC Roots 集合找引用链这个操作作为介绍虚拟机高效实现的第一个例 子。固定可作为GC Roots 的节点主要在全局性的引用(例如常量或类静态属性)与执行上下文(例如 栈帧中的本地变量表&a…

时间序列预测方法概述

这里写目录标题 时间序列预测方法概述1.统计方法1.1 ARIMA (AutoRegressive Integrated Moving Average)1.2 State Space Models1.3 Exponential Smoothing 2.机器学习方法2.1 SVM (Support Vector Machines)2.2 RF (Random Forest)2.3 KNN (K-Nearest Neighbors) 3. 深度学习方…

latex \left{ \right} 环境不能自动换行

latex \left{ \right} 环境不能自动换行 1. 问题描述2.解决方法 1. 问题描述 可以看到 V { v 1 , v 2 , . . . , v g } V\left\{v_1, v_2, ..., v_g \right\} V{v1​,v2​,...,vg​}没有自动换行。 2.解决方法 在合适换行的位置加入\right.\\ \left.,手动换行。…

连锁收银系统一定需要具备会员营销功能

连锁收银系统不只是一个收银工具,它需要具备会员营销功能,这取决于连锁店的经营策略和目标群体。会员营销功能通常用于吸引和留住忠实客户,通过积分、折扣、专属优惠等方式提升客户的消费频率和金额。连锁店的经营模式侧重于会员制度或者目标…

Golang | Leetcode Golang题解之第257题二叉树的所有路径

题目: 题解: func binaryTreePaths(root *TreeNode) []string {paths : []string{}if root nil {return paths}nodeQueue : []*TreeNode{}pathQueue : []string{}nodeQueue append(nodeQueue, root)pathQueue append(pathQueue, strconv.Itoa(root.V…

PDF文件压缩怎么弄?这3个方法轻松解决

PDF文件压缩怎么弄?PDF文件压缩在日常办公和学习中扮演着至关重要的角色,它不仅仅是减少文件占用的磁盘空间那么简单,更是提升了文件在云存储、电子邮件发送以及跨设备传输时的效率与便捷性。通过压缩,我们能够更快地共享大型文档…

【初阶数据结构】掌握二叉树遍历技巧与信息求解:深入解析四种遍历方法及树的结构与统计分析

初阶数据结构相关知识点可以通过点击以下链接进行学习一起加油!时间与空间复杂度的深度剖析深入解析顺序表:探索底层逻辑深入解析单链表:探索底层逻辑深入解析带头双向循环链表:探索底层逻辑深入解析栈:探索底层逻辑深入解析队列:探索底层逻辑深入解析循环队列:探索…

【Django+Vue3 线上教育平台项目实战】Celery赋能:优化订单超时处理与自动化定时任务调度

文章目录 前言⭐✨💫🔥📖一、Celery⭐1.基本概念及介绍:✨2.使用步骤💫 二、订单超时 取消订单(Celery)🔥具体实现流程📖 前言⭐✨💫🔥📖 在构建复…

GIT命令学习 二

📑打牌 : da pai ge的个人主页 🌤️个人专栏 : da pai ge的博客专栏 ☁️宝剑锋从磨砺出,梅花香自苦寒来 ☁️运维工程师的职责:监…