阿里云发布时间序列数据库TSDB,关于时序你了解多少?

概要介绍

时间序列数据是一种表示物理设备,系统、应用过程或行为随时间变化的数据,广泛应用于物联网,工业物联网,基础运维系统等场景。阿里云TSDB 时间序列数据库可以解决大规模时序数据的可靠写入,降低数据存储成本,实时灵活的完成业务数据聚合分析。

什么是时序数据

我们来看感受一下平时自己特别熟悉的场景,就会发现时序和每个人都存在非常紧密的关系:
电商系统获取每笔订单交易金额和支付金额数据以及商品库存和物流数据;
智能电表,会实时记录每个小时的用电量数据,比给出账单数据;
高山上的风车的获取实时转速,风速数据,发电量数据。
应用服务调用量有没有异常,服务器的负载和资源使用率如何?

这些应用程序均依赖一种衡量事物随时间的变化的数据形式,每一个数据源定期发送新的读数,创建一系列随时间推移收集到的测量结果,这就是时序数据,时序数据数据集主要有以下三个特点:

  1. 新入库数据几乎总是作为新条目被记录
  2. 数据通常按照产生时间顺序入库
  3. 所有的数据都自带时间戳,

因此,我们这样定义时间序列数据:统一表示系统、过程或行为随时间变化的数据

时序数据的价值

相较域非时序数据,核心区别在于时序数据能够反映“变化”本身。当你为某个物联网设备收集新数据时,是覆盖以往的读数,还是在新的一行创建全新的读数?尽管这两种方法都能为你提供系统的当前状态,但只有第二种方法才能跟踪系统的所有状态。
所以时序数据的价值在于将系统的每个变化都记录为新的一行,从而可以去衡量变化,分析过去的变化,监测现在的变化,以及预测未来将如何变化。

时序数据库TSDB 的价值

为什么不能用常规数据库来管理时序数据呢,为什么需要时序数据库呢?事实上答案是你可以使用非时间序列数据库,如同你可以为航天飞行器配备一个普通的汽车发动机,虽然也可以飞起来,但是终究不能实现航天飞行的“梦想”。
而更多业务场景选择择时序数据库而非通用数据库技术也是类似的原因归结起来就是两个核心点:规模和可用性。
(1)规模:时间序列数据累计速度非常快。例如,一辆联网汽车每小时产生几百GB 的数据。关系型数据库处理大数据集的效果非常糟糕;NoSQ数据库可以很好地处理规模数据,但是仍然比不上一个针对时间序列数据微调过的数据库。相比之下,时间序列数据库将时间作为最高优先级来处理,通过提高区间数据实时查询效率来处理这种大规模数据,并带来性能的提升,包括:每秒写入速度,能够支撑的设备指标量,读取数据效率和非常高的存储压缩比。而时间序列数据在技术领域的关注度也日益提升。
数据来源:DBengine 2018.9月报告

(2)可用性:TSDB通常还包括一些共通的对时间序列数据分析的功能和操作:数据保留策略、连续查询、灵活的时间聚合等。以及很好的扩展性。比如常见的时序降精度和聚合计算,而非时序数据库都不具备这个能力。这就是为什么企业开发人员越来越多地采用时间序列数据库,并将它们用于各种使用场景。

使用阿里云TSDB 的理由

阿里巴巴业务覆盖面广,诸如 电商交易跟踪, 容器指标监控, 服务监控,物流配送跟踪,智慧园区的智能设备监控等对时序数据库存在强烈的需求,选择阿里云 TSDB 是因为具备如下的优势:
高性能
TSDB具有高效的吞吐能力,实际压测对比,TSDB 的读取效率比开源的OpenTSDB 和InfluxDB 读取效率要高出一个数量级,实际业务上过用TSDB 来代替传统的基于Hbase的方案,整体机器成本缩减了50%以上。
数据存储成本更低 
时序数据都是持续写入的,任何一个数据的变化都会记录到时序数据库,所以相比较OLTP类的数据库,对于数据库的容量要求是PB级别。TSDB 可以做到最高10:1的无损压缩效率。大大降低了业务的存储成本。
分析能力强 
时序最核心的能力在于数据分析能力,TSDB 提供专业全面的时序数据计算函数,支持降采样、数据插值和空间聚合计算,能满足各种复杂的业务数据查询场景。百万级别数据点聚合分析秒级完成。
功能完备
时序数据库支持丰富的计算能力,如降精度和聚合计算。
降精度
我们看一个降精度例子, 园区管理员要把园区所有的照明灯的用电量数据采集起来,进行统一的监控分析,达到节能管控的目的。如果管理员要查看最近24小时耗电量的时候,那么可以直接从TSDB里获取原始数据查看用电量趋势。 而管理员要查看最近3年的用电量趋势的时候,管理员可以随机按照“天”,“周”,“月”这些比较粗粒度的时间精度来进行数据计算,所有降精度的数据通过原始小时数据按照时序提供的函数(如平均求和,最大值,最小值等)计算出来,而所有的计算过程由时序数据库“包办”,应用可以直接获取计算结果。
聚合计算
如果管理员要查看某个具体楼层的用电量的时候,那么只需把楼层信息请求到TSDB,就可以实时获取所需楼层所有灯的用电量。 那么如果管理员查看飞利浦品牌的耗电量的时候,只需传递品牌值到TSDB即可,按照园区名称也可以统计。所以时序聚合提供了强大非常灵活的能力,完全可以随机定义查询聚合的纬度,实时的获取不同分析纬度的查询结果。而不要用户主动创建任何索引信息。

时空分析

随着车联网以及智能交通和新零售配送相关行业发展,地理位置信息类型的数据存储和分析场景也日渐显现,技术领域称为“时空分析”。
车联网的管理人员需要清楚的知道在当天有多少车辆在运营区域内行使,有多少车辆驶出了运营区域,每个车辆的行使轨迹是怎样的,进行全局的车辆管理。政府的管理人员需要清楚当天城区内人员流动的热力分布趋势,以提升城市管理的效率。新零售的配送管理员需要知道配送员是否按照规定在区域内配送,配送员的配送轨迹如何,以便于做管理和配送路径的优化。这些都依赖时空分析能力。

TSDB 即将发布时空分析功能,提供地理位置信息类型数据的存储和分析。满足轨迹追踪,空间位置统计分析的业务需求。

时序洞察

数据可视化是呈现数据分析结果的重要一环,TSDB 提供了基础的可视化功能时序洞察,可以实时的提供给用户交互式的数据分析过程。用户无需开发任何的代码,就可以完成数据查询和分析,同时直观的看到数据的趋势效果。

快速体验阿里云TSDB

TSDB 新发布的时序洞察,能够通过demo 数据的导入,只需三个步骤,就可以快速体验交互式的时序数据分析能力:
第一步,创建TSDB 实例
第二步,进行demo数据导入
第三步,创建时序洞察, 进行数据分析


#阿里云开年Hi购季#幸运抽好礼!
点此抽奖:https://www.aliyun.com/acts/product-section-2019/yq-lottery?utm_content=g_1000042901

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519707.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VMware宣布完成27亿美元收购Pivotal;日本成功研发出6G芯片:单载波速度高达100Gbps;联想手机再换新掌门……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go go【1月1日 星期三】云の声音5G医疗爆发箭在弦上&am…

mysql自定义排序以及优化like模糊查询

**1. 自定义排序函数FIELD()**SELECT id,username,city FROM sy_user order byFIELD(city,郑州, 开封, 平顶山,洛阳, 商丘, 安阳, 新乡, 许昌, 鹤壁, 焦作, 濮阳, 漯河, 三门峡, 周口,驻马店, 南阳, 信阳, 济源,省本部,河南) **2.使用 case when**SELECT id,username,city FR…

使用Logtail采集Kubernetes上挂载的NAS日志

采集k8s挂载Nas后的日志 该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。两种采集方式的实现原理是一样的,都是通过将Logtail和业务容器挂载到相同的NAS上,使Logtail和业务容器的日志数据共享,以此实现日志采集。下…

linux目录挂载

挂载前声明: 执行挂载后,源本地目录下的文件会不显示。 挂载前:需要提前将原目录下面的日志文件备份转移,挂载成功后,在转移到挂载的本地目录下面即可。操作流程如下: 1. 将/app/fis/xml中148G多的日志文件…

深度揭秘“蚂蚁双链通”

今年年初,蚂蚁金服ATEC城市峰会在上海举行。在ATEC区块链行业研讨会分论坛上,蚂蚁金服区块链高级产品专家杨俊带来了主题为《供应链金融,不止于金融:蚂蚁双链通——基于区块链的供应链协作网络》的精彩分享。 蚂蚁金服区块链高级产…

@程序员,不要瞎努力!比起熬夜更可怕的是“熬日”!

最近,笔者在经常后台看到小伙伴留言在问,想学Python,但不知道如何入门?其实对于这个问题,真是仁者见仁智者见智。有句老话说的好“一千个读者,就有一千个哈姆雷特”不过对于此疑惑,笔者就想直接…

配置nginx作为静态资源服务器 css,js,image等资源直接访问

1.传统的web项目,一般都将静态资源存放在 webroot 的目录下,这样做很方便获取静态资源,但是如果说web项目很大,用户很多,静态资源也很多时,服务器的性能 或许就会很低下了。这种情况下一般都会需要一个静态…

分布式事务中间件 Fescar - 全局写排它锁解读

前言 一般,数据库事务的隔离级别会被设置成 读已提交,已满足业务需求,这样对应在Fescar中的分支(本地)事务的隔离级别就是 读已提交,那么Fescar中对于全局事务的隔离级别又是什么呢?如果认真阅…

使用xfire webservice接口开发,obj与xml相互转换好用工具类,不需要写大量的转换代码,亲测可用

webservice接口开发&#xff0c;旧工程中存在使用xfire开发的接口&#xff0c;对象转换为xml和xml转换为对象的时候需要些大量的代码&#xff0c;工作量很大。现在提供一个比较好的对象转换为xml的工具。 <!-- https://mvnrepository.com/artifact/commons-betwixt/commons…

Spring Cloud Alibaba迁移指南(二):零代码替换 Eureka

自 Spring Cloud 官方宣布 Spring Cloud Netflix 进入维护状态后&#xff0c;我们开始制作《Spring Cloud Alibaba迁移指南》系列文章&#xff0c;向开发者提供更多的技术选型方案&#xff0c;并降低迁移过程中的技术难度。 第二篇&#xff0c;Spring Cloud Alibaba 实现了 Sp…

云+X案例展 | 民生类:京东云突破数据中心光互联瓶颈

本案例由京东云投递并参与评选&#xff0c;CSDN云计算独家全网首发&#xff1b;更多关于【云X 案例征集】的相关信息&#xff0c;点击了解详情丨挖掘展现更多优秀案例&#xff0c;为不同行业领域带来启迪&#xff0c;进而推动整个“云行业”的健康发展。随着数字化的进程&#…

Linux查看文件夹大小

Linux查看文件夹大小 du -sh 查看当前文件夹大小 du -sh * | sort -n 统计当前文件夹(目录)大小&#xff0c;并按文件大小排序 du -sk filename 查看指定文件大小

UI2Code智能生成Flutter代码--整体设计篇

背景: 随着移动互联网时代的到来&#xff0c;人类的科学技术突飞猛进。然而软件工程师们依旧需要花费大量精力在重复的还原UI视觉稿的工作。 UI视觉研发拥有明显的特征&#xff1a;组件&#xff0c;位置和布局&#xff0c;符合机器学习处理范畴。能否通过机器视觉和深度学习等手…

如何成为优秀的技术主管?你要做到这三点

阿里妹导读&#xff1a;技术主管&#xff0c;又叫「技术经理」&#xff0c;英文一般是 Tech Leader &#xff0c;简称 TL。随着工作经验的不断积累&#xff0c;能力的不断提升&#xff0c;每个人都有机会成为Team Leader。然而在机会到来前&#xff0c;我们必须提前做好准备&am…

达摩院2020十大科技趋势发布:云成IT技术创新中心

2020年第一个工作日&#xff0c;“达摩院2020十大科技趋势”发布。这是继2019年之后&#xff0c;阿里巴巴达摩院第二次预测年度科技趋势。 回望2019年的科技领域&#xff0c;静水流深之下仍有暗潮涌动。AI芯片崛起、智能城市诞生、5G催生全新应用场景……达摩院去年预测的科技…

SpringBoot Mybatisplus 多数据源使用

文章目录一、mybatisplus3.x1. 依赖2. 启动类添加注解3. 添加多数据源注解4. yml5. 测试类6. 源码地址为了适配新的需求&#xff0c;需要同时支持mysql和oracle数据库操作多数据源&#xff0c;因此项目中集成dynamic-datasource-spring-boot-starter,支持很多场景。 例如&#…

mysql查询每月、每天订单金额

最近项目需要统计每天的金额&#xff0c;就写了这样的sql 下面是统计每天的金额&#xff08;fifth_gen_maintain_fee &#xff09;&#xff0c;主要是根据day&#xff08;&#xff09;函数&#xff0c;按照创建日期进行分组&#xff0c;每月的话day换成month函数就行了 SELEC…

数据流被污染?数据质量不高?蚂蚁金服数据资产管理平台了解一下

今年年初&#xff0c;蚂蚁金服ATEC城市峰会在上海举办。金融智能专场分论坛上&#xff0c;蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分享。 演讲中&#xff0c;李俊华介绍了蚂蚁金服数据架构体系的免疫系统——数据质…

努力≠上进!那些“熬夜”持续精进的人有多可怕!

经常听到一些同学说&#xff1a;某个公司薪资上调30-50%&#xff0c;我可以跳槽入吗&#xff1f;最近收到几个比较好的offer&#xff01;该去哪家&#xff1f;纠结&#xff01;目前岗位和环境对自己成长非常慢&#xff01;更看不到公司的前景特别迷茫&#xff01;想成为人工智能…

MySQL8.0.14 - 新特性 - InnoDB Parallel Read简述

最近的MySQL8.0.14版本增加了其第一个并行查询特性&#xff0c;可以支持在聚集索引上做SELECT COUNT()和check table操作。本文简单的介绍下这个特性。 用法 增加了一个session级别参数: innodb_parallel_read_threads 要执行并行查询&#xff0c;需要满足如下条件(ref: row…