用积木讲运维,这样的IT人太会了

积木的拼搭,是件细致工作。用不同的积木,进行组合变换,小孩子可能会用积木搭高楼、搭汽车、搭公路,而IT人则选择通过搭建小积木,讲解可观测的大乾坤。

大家所熟知的日志服务SLS不只是“日志存储”,更是一个一站式智能运维方案、可观测平台。它提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。

近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。

一、日志服务架构的五大层级

相关报告指出,可观测性应用使企业机构能够利用其数据特征来获得竞争优势。如果能够在战略中予以规划并成功执行,可观测性应用将成为数据驱动型决策的最强大来源。

从架构上来看,日志服务SLS作为一站式的云原生可观测分析平台,按功能可划分为5大层级。最底层是数据采集与管道,再上一层是统一的可观测存储平台;然后是灵活的高性能计算引擎、智能化的Ops平台工具;最上层为各种开箱即用的功能。

1、数据采集与管道

业内公认,Log、Metric、Trace是全观测的三大支柱,通过搭建统一的观测系统,帮助运维人员在「事前」了解系统运行状态,「事中」快速定位故障,「事后」根因分析,做到进退有方,心中不慌。

SLS作为阿里巴巴、蚂蚁等日志中台产品,可以承载流量管道作用,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。

2、可观测存储平台

针对不同类型的数据,SLS提供了统一的存储能力,日志中枢(LogHub)支持与各种实时计算及服务对接,不但可以提供完整的进度监控,报警等功能,还能根据SDK/API实现自定义消费。此外,SLS具备强大的数据加工能力,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。

为了降低用户长周期存储的成本,SLS提供了冷存储功能。冷存储数据的存储费用很低,冷热数据转换也不会产生费用。

3、高性能计算引擎

SLS有不少互联网及企业客户,他们的业务系统会实时生成大量的埋点日志数据,这些数据往往需要长期保存,并且有离线计算或者实时计算的需求。

为了更好地服务这些客户, SLS提供了基于索引的高性能查询/分析能力,10亿级数据能够实现秒级返回。在语法上,SLS完全兼容SQL92标准,同时无缝对接主流(Flink、Spark、Storm等)流计算产品。

4、智能化的 Ops 平台工具

SLS支持完整AIOps能力,能将可观测性数据全部接入一个平台中,再结合高性能数据查询引擎、关联分析能力,构建出一套云原生可观测平台。

用户可以基于此平台, 便捷高效地构建ITOps、SecOps、FinOps上层应用。再结合智能告警与响应中枢、基于AI的数据分析与异常巡检模块,企业IT系统神经中枢就大功告成了。

5、开箱即用的应用

SLS具备全托管、免运维,开箱即用的特性,提供DSL编排能力,内置200+函数,内置算子,能够快速实现二次开发。

Cloud Lens 复用了SLS 的存储分析平台,可以跨账号、跨区域统一采集访问日志、用量数据、监控指标等可观测数据,继而创建一个统一的场景化洞察大盘,帮助用户低门槛实现对云产品的可观测。

二、日志服务新增查询型规格以及Scan扫描模式

SLS现有的标准型规格(Standard Logstore),包含了SLS的完整功能集合,用户可以在标准型规格上实现对于数据的高性能查询与分析,进而用来适应各类业务场景。但实际上部分用户的业务场景并不倚重于分析能力,更多的还是依赖查询解决问题。

哲学家老子曾说大道至简,同样地,产品也需要因事制宜做“减法”。因此,SLS新推出了查询型规格(Query Logstore),据统计,查询型规格索引流量费用相比标准型规格减少约72%,综合成本预计降低30% ,支持高性能查询,不支持分析统计。适合于debugging、问题诊断和审计溯源等重查询轻(或无)分析的场景

在同一个project下,可以同时保有标准型及查询型规格Logstore,用户可根据不同业务需求灵活组合。SLS Query规格还支持存储冷热分层,在兼容查询功能的同时进一步降低成本。

在查询型规格之外,SLS今年在计算引擎上也实现了重大突破。索引查询/分析模式是一种schema-on-write的模式,更注重稳定和效率,相对应的需要提前建立索引,没有索引的字段就无法用于做查询分析,适用于明确有业务需求的日志字段。但是对于需求相对模糊的部分,往往会让用户陷入是应该注重业务需求提前建索引,还是应该平衡成本的纠结中。

而SLS推出的扫描查询/分析模式(Schema on read),不需要用户提前建立索引,在无预建索引的情况下可以实现轻量级(性能/规模受限)的查询分析功能,相对应的成本也会大幅度降低。在同一份日志数据中,通过两种计算模式的灵活结合,SLS成功化身“端水大师”,实现对于业务需求和成本的兼具考虑。

结语:起早与贪黑齐飞,调休共假期待定,那是人肉运维。进入智能运维时代,运维人需要的是文能运维做观测,武能检索做分析。有了可以灵活组装底层能力的日志服务SLS,运维人可以进一步从繁重的事务中解脱出来。

原文链接

本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510387.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

再谈数据湖3.0:降本增效背后的创新原动力

前言:2022年3月 31 日,阿里云全球数据湖峰会上,阿里云从“湖管理、湖存储和湖计算“这三个方面,为观众带来了“数据湖 3.0” 的重磅升级方案。在时隔两百多天的云栖大会上,阿里云存储对数据湖的能力,进行了…

原码 反码 补码 详解

一. 机器数和真值 在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念. 1、机器数 一个数在计算机中的二进制表示形式, 叫做这个数的机器数。机器数是带符号的,在计算机用一个数的最高位存放符号, 正数为0, 负数为1. 比如,十进制中的数 3 &…

谈谈 PolarDB-X 在读写分离场景的实践

在数据库使用过程中经常会遇到一些场景: 业务写流量一直相对比较稳定,但随着时间,数据不断增加,数据库的压力也会越来越大,写操作会影响到读请求的性能,做任何优化可能都达不到最终的效果;在应…

开源数据库 PolarDB 为什么能捕获娃哈哈的心?

一、娃哈哈的需求 娃哈哈已经使用PostgreSQL多年,使用了大量逻辑复制,且备库仅提供一些业务的只读服务。同时,其重要业务的数据库运行在共享SAN存储上。因此,它存在主备库延迟较大、逻辑复制不稳定且延迟大的痛点。 二、使用Pola…

数据库 PolarDB 开源之路该如何走?听听他们怎么说

阿里巴巴集团副总裁、阿里云数据库事业部负责人李飞飞出席了沙龙并致开场辞:PolarDB 是阿里云的明星产品,做出将PolarDB 开源的决策需要非常大的勇气。将最核心的数据库产品对外开源,且使用了最友好的协议,阿里云是全球头部云厂商…

通过定时 SQL 提取阿里云API 网关访问日志指标

背景 阿里云API网关服务提供API托管服务,提供了强大的适配和集成能力,可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务,通过日志服务强大的查询分析能力,用户可以针对访问日志自定义计…

2022云栖现场|体验阿里巴巴工作数字化实践

越来越多的企业主动拥抱数字化转型,借助数字化工具提高企业运营效率,实现企业目标落地、帮助员工成长。 2022云栖大会,阿里巴巴企业智能带来阿里数字化工作方法与企业IT解决方案,展示着阿里内部在办公协同与IT管理上的实际应用场…

K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布

背景 随着K8s和云的普及,越来越多的公司将业务系统部署到云上,并且使用K8s来部署应用。Logtail是SLS提供的日志采集Agent,能够非常好的适应K8s下各种场景的日志采集,支持通过DaemonSet方式和Sidecar方式采集Kubernetes集群的容器…

一图看懂,阿里云飞天企业版如何支持政企数智创新

杭州,2022年11月5日 – 今日,在云栖大会专有云技术和应用实践论坛,阿里云重磅发布飞天企业版在建云、管云、用云方面的全面升级,并邀请行业专家、政企客户代表和合作伙伴面向未来十年共话新一代政企IT发展趋势,分享阿里…

关于HTTPDNS,你知道多少?

什么是HTTPDNS? HTTPDNS是面向多端应用(移动端APP,PC客户端应用)的域名解析服务,具有域名防劫持、精准调度、实时解析生效的特性。 HTTPDNS工作流程 客户端直接访问HTTPDNS接口,获取业务在域名配置管理系…

当大火的文图生成模型遇见知识图谱,AI画像趋近于真实世界

导读 用户生成内容(User Generated Content,UGC)是互联网上多模态内容的重要组成部分,UGC数据级的不断增长促进了各大多模态内容平台的繁荣。在海量多模态数据和深度学习大模型的加持下,AI生成内容(AI Gen…

使用 EasyCV Mask2Former 轻松实现图像分割

导言 图像分割(Image Segmentation)是指对图片进行像素级的分类,根据分类粒度的不同可以分为语义分割(Semantic Segmentation)、实例分割(Instance Segmentation)、全景分割(Panoptic Segmentation)三类。图像分割是计算机视觉中的主要研究方向之一,在医…

八皇后问题详解(最短代码)

八皇后问题算法分析: 分析1:八皇后由一个64格的方块组成,那么把八个皇后放入不考虑其他情况利用穷举法,有8^64种 可能。 分析2:显然任意一行有且仅有1个皇后,使用数组queen[0->7]表示第i行的皇后位于哪一…

5个编写技巧,有效提高单元测试实践

1. 什么是单元测试 “在计算机编程中,单元测试又称为模块测试,是针对程序模块来进行正确性检验的测试工作。程序单元是应用的最小可测试部件。在过程化编程中,一个单元就是单个程序、函数、过程等;对于面向对象编程,最…

谈谈我工作中的23个设计模式

序 从基础的角度看,设计模式是研究类本身或者类与类之间的协作模式,是进行抽象归纳的一个很好的速成思路。后面阅读设计模式后,为了加深理解,对相关图片进行了描绘和微调。 从技术的角度已经有很多好的总结,本文会换…

OpenSergo 流量路由:从场景到标准化的探索

流量路由,顾名思义就是将具有某些属性特征的流量,路由到指定的目标。流量路由是流量治理中重要的一环,多个路由如同流水线一样,形成一条路由链,从所有的地址表中筛选出最终目的地址集合,再通过负载均衡策略…

传统 Web 框架部署与迁移

与其说 Serverless 架构是一个新的概念,不如说它是一种全新的思路,一种新的编程范式。 但是原生的 Serverless 开发框架却非常少。以 Web 框架为例,目前主流的 Web 框架“均不支持 Serverless 模式部署”,因此我们一方面要尝试接…

三款“非主流”日志查询分析产品初探

前言 近些年在开源领域,用于构建日志系统的软件有两类典型: Elasticsearch:基于 Lucene 构建倒排索引提供搜索功能,DocValue 存储支持了其统计分析能力。Clickhouse:列式存储是其优秀 OLAP 性能的保障。 这里把上述系…

CIPU落地专有云:是“小众需求”还是“机会之门”?

引言:2022年11月,云栖大会主论坛,阿里巴巴集团副总裁、阿里云智能基础产品事业部负责人蒋江伟分享了阿里云专有云的一项新进展 —— CIPU落地飞天企业版。在分析师峰会上,阿里巴巴集团研究员、阿里云专有云总经理刘国华也向分析师…

基于开源 PolarDB-X 打造中正智能身份认证业务数据基座

一、公司及业务介绍 中正智能是全球领先的生物识别和身份认证公司之一。我们曾负责公安部指纹算法国家标准的起草、编写,具备从算法、终端、平台、设计、生产、交付全域自研的能力,拥有多项自主知识产权的产品,并积极与高校合作开展基础研发。…