智能存储解决方案:探索 TDengine 的多级存储功能

在当今数据驱动的时代,如何高效地存储和管理海量数据已成为企业面临的一大挑战。为了应对这一需求,TDengine Enterprise 不仅支持使用对象存储(S3),还早已引入了独特的多级存储功能。这一功能不仅能够降低存储成本,还能显著提升数据写入性能,并简化系统维护流程。

多级存储的设计理念是将数据根据热度进行分级管理。热度较高的数据被存储在高速介质上,以便快速访问和处理;而时间久远、热度较低的数据则存放在低成本的存储介质上,从而实现经济性的最大化。这种策略的实施,不仅为企业节省了存储费用,更使得数据的写入和查询变得更加高效。

在江河信息水利物联感知服务平台的升级中,TDengine 多级存储功能就发挥了重要作用。借助这一功能,江河信息将原有的 10 多台 NVME 存储服务器精简为仅 3 台高效云盘与机械硬盘的服务器,这一转变不仅大幅节省了硬件成本开销,更有效降低了运维的工作量,提升了整体资源的利用效率。

本文将深入探讨 TDengine 的多级存储功能,介绍其配置方式、负载均衡策略以及如何实现高效的数据管理。通过对这一功能的全面解析,我们希望帮助更多用户充分利用 TDengine 的优势,优化数据存储策略,提升整体系统性能。

TDengine 多级存储好在哪?

降低存储成本是 TDengine 多级存储功能的一个显著优势。通过将数据按照热度进行分级存储,企业能够有效地将大量极冷数据存放在更为廉价的存储介质上。这一策略的实施,不仅显著减少了存储费用,还为企业提供了更高的经济效益。随着数据量的不断增加,传统的存储方式往往导致成本急剧上升,给企业的运营带来了压力。而多级存储的设计理念则在根本上解决了这一问题,让企业在实现数据存储的同时,可以灵活应对未来的各种挑战。

与此同时,提升写入性能也是 TDengine多级存储功能的一大亮点。每级存储支持多个挂载点,这意味着在进行数据写入时,可以实现更高的并发处理能力。得益于这一设计,WAL(预写日志)可以支持 0 级的多挂载点并行写入,从而极大地提升了写入性能。

在实际应用场景中,我们测得 TDengine 能够支持持续写入每秒超过 3 亿个测点,这对于数据密集型应用尤为重要,确保了系统能够高效处理实时数据。此外,TDengine 在机械硬盘上的表现也相当出色,磁盘 IO 吞吐量实测可达 2GB/s,这不仅为大规模数据的实时处理奠定了坚实的基础,也使得企业在面对海量数据时能够游刃有余。

除了成本和性能的提升,方便维护也是多级存储功能的一大优势。一旦各级存储的挂载点配置完成,后续的系统数据迁移等工作便无需人工干预。这种自动化的管理方式大大降低了运维人员的工作负担,提升了系统的可靠性。而且,存储扩容变得更加灵活和方便,企业可以根据实际需求随时调整存储策略,灵活应对业务变化。

最后,TDengine 的多级存储功能在 SQL 查询方面也展现出其透明性。无论用户查询的数据是否跨越不同的存储级别,一条 SQL 语句都可以轻松返回所有相关数据。这种设计不仅简化了用户的操作流程,还提高了查询的效率。用户无需关注数据存储的具体位置,只需专注于数据的分析和应用,真正实现了简单高效的数据管理。这种用户友好的设计理念,使得 TDengine 不仅适合技术专家,也能满足各种层次用户的需求。

多级存储的负载均衡与挂载点选择策略

在多级存储中,负载均衡是提升写入性能的关键因素。每个 dnode 仅有一个主挂载点,这一主挂载点负责存储系统中最重要的元数据,并且各个 vnode 的主目录也均位于该主挂载点上。这种设计虽然保证了数据的集中管理,但同时也限制了该 dnode 的写入性能,因为其 IO 吞吐能力受限于单个磁盘。

从 TDengine 3.1.0.0 版本开始,系统引入了对多个 0 级挂载点的支持。当一个 dnode 配置了多个 0 级挂载点时,所有 vnode 的主目录将被均衡分布到这些挂载点上,由此实现了写入负荷的共享。这一优化策略不仅提高了整体系统的写入能力,还使得系统在网络 I/O 和其他处理资源不成为瓶颈的情况下,能够实现线性增长的写入性能。测试结果表明,随着 0 级挂载点数量的增加,整个系统的写入能力也成倍提升,极大地增强了数据处理的效率。

除了负载均衡,多级存储还对同级挂载点的选择策略进行了优化。通常情况下,TDengine 会采用 round robin 策略从同级挂载点中选择一个用于生成新的数据文件。然而,在实际环境中,各磁盘的容量可能存在差异,或者虽然容量相同,但写入的数据量却不同,这会导致每个磁盘的可用空间不均衡,在实际进行选择时有可能会选择到一个剩余空间已经很小的磁盘。

为了解决这一问题,从 TDengine 3.1.1.0 版本开始,我们引入了新的配置项 minDiskFreeSize。当某个磁盘的可用空间小于等于该阈值时,该磁盘将不再被选中用于生成新的数据文件。该配置项的单位为字节,并建议其值大于 2GB(即会跳过可用空间小于 2GB 的挂载点)。这样的设计确保了在进行数据写入时,能够有效避免选择到已接近满载的磁盘,从而提升了存储的整体效率。

进一步地,从 3.3.2.0 版本开始,TDengine 引入了新的配置项 disable_create_new_file,用于控制某个挂载点上是否可以生成新文件。其缺省值为 false,即默认情况下,每个挂载点都可以生成新文件。这一策略为运维人员提供了更大的灵活性,使他们能够根据实际需求对挂载点进行管理,从而优化系统的存储性能。

通过这些负载均衡和挂载点选择策略的优化,TDengine 多级负载功能得到了显著提升,不仅提高了数据写入的效率,还确保了存储资源的合理利用,为用户在海量数据处理时提供了强有力的支持。

配置方式

TDengine 的多级存储功能支持最多 3 级,每级可配置多达 128 个挂载点。典型的配置方案包括:

  • 0 级:配置多个挂载点,每个挂载点对应一块 SAS 硬盘;

  • 1 级:配置多个挂载点,每个挂载点可以对应单块或多块 SATA 硬盘;

  • 2 级:可配置为 S3 存储或其他廉价的网络存储。

在 TDengine 中,多级存储的配置方式如下(在配置文件 /etc/taos/taos.cfg 中):

dataDir [path] <level> <primary>

其中,各参数的含义如下:

  • path:挂载点的文件夹路径。

  • level:介质存储等级,取值为 0、1 或 2。

    • 0 级用于存储最新的数据;

    • 1 级用于存储次新的数据;

    • 2 级用于存储最旧的数据。

  • 如果省略该参数,默认为 0。各级存储之间的数据流向为:0 级存储 → 1 级存储 → 2 级存储。需要注意的是,同一存储等级可以挂载多个硬盘,而同一存储等级上的数据文件将分布在该存储等级的所有硬盘上。数据在不同级别存储介质之间的移动是由系统自动完成的,用户无需干预。

  • primary:标识是否为主挂载点,取值为 0(否)或 1(是)。如果省略该参数,默认为 1。在配置中,只允许存在一个主挂载点(即 level=0primary=1)。以下是一个示例配置方式:

dataDir /mnt/data1 0 1
dataDir /mnt/data2 0 0
dataDir /mnt/data3 1 0
dataDir /mnt/data4 1 0
dataDir /mnt/data5 2 0
dataDir /mnt/data6 2 0

需要注意的是:

  1. 多级存储不允许跨级配置。合法的配置方案包括:仅 0 级;仅 0 级 + 1 级;以及 0 级 + 1 级 + 2 级。禁止只配置 level=0level=2,而不配置 level=1

  2. 禁止手动移除使用中的挂载盘,并且挂载盘目前不支持非本地的网络盘。

结语

综上所述,TDengine 的多级存储功能为企业提供了一种灵活、高效的数据管理解决方案。通过合理配置不同级别的存储介质,企业能够在降低存储成本的同时,提升数据写入性能和维护效率。此外,TDengine 还支持对象存储 S3,使得企业可以利用云存储的高可扩展性和低成本优势,进一步优化其数据存储策略。结合这两大特性,TDengine 不仅强化了其作为企业级数据库的竞争力,也为用户在应对海量数据挑战时提供了强有力的支持,帮助他们实现数字化转型的目标。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/885348.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python爬虫自动库DrissionPage保存网页快照mhtml/pdf/全局截图/打印机另存pdf

目录 零一、保存网页快照的三种方法二、利用打印机保存pdf的方法 零 最近星球有人问如何使用页面打印功能&#xff0c;另存为pdf 一、保存网页快照的三种方法 解决方案已经放在星球内&#xff1a;https://articles.zsxq.com/id_55mr53xahr9a.html当然也可以看如下代码&…

Redis 中 Bitmap 原理和应用

Bitmap Redis中的Bitmap&#xff08;位图&#xff09;是一种较为特殊数据类型&#xff0c;它以最小单位bit来存储数据&#xff0c;我们知道一个字节由 8个 bit 组成&#xff0c;和传统数据结构用字节存储相比&#xff0c;这使得它在处理大量二值状态&#xff08;true、false 或…

elementUI 点击弹出时间 date-picker

elementUI的日期组件&#xff0c;有完整的UI样式及弹窗&#xff0c;但是我的页面不要它的UI样式&#xff0c;点击的时候却要弹出类似的日期选择器&#xff0c;那怎么办呢&#xff1f; 以下是elementUI自带的UI风格&#xff0c;一定要一个输入框来触发。 这是我的项目中要用到的…

微软日志丢失事件敲响安全警钟

NEWS | 事件回顾 最近&#xff0c;全球最大的软件公司之一——微软&#xff0c;遭遇了一场罕见的日志丢失危机。据报告&#xff0c;从9月2日至9月19日&#xff0c;持续长达两周的时间里&#xff0c;微软的多项核心云服务&#xff0c;包括身份验证平台Microsoft Entra、安全信息…

2021-04-22 51单片机玩转点阵

理论就不赘述了,网络上多得很,直接从仿真软件感性上操作认识点阵,首先打开ISIS仿真软件,放置一个点阵和电源与地线就可以开始了;由点阵任何一脚连线到地线,另一边对应的引脚就连接到电源,如图:点击运行看是否点亮?看到蓝色与红色的点表示电源正常但是没有任何亮点,这时对调一下…

(十三)JavaWeb后端开发——MySQL2

目录 1.DQL数据查询语言 1.1基本查询 1.2条件查询 where关键字 1.3分组查询 1.4排序查询 1.5分页查询 2.多表设计 3.多表查询——联查 4.多表查询——子查询​ 5.MySQL 事务 6.事务管理&#xff08;事务进阶&#xff09; 7.MySQL 索引 1.DQL数据查询语言 分为五大…

恭喜!2024年度大连市科技人才创新、科技人才创业项目拟立项公示!

精选SCI/SSCI/EI SCI&EI ●IEEE 1区TOP 计算机类&#xff08;含CCF&#xff09;&#xff1b; ●EI快刊&#xff1a;最快1周录用&#xff01; 知网(CNKI)、谷歌学术期刊 ●7天录用-检索&#xff08;100%录用&#xff09;&#xff0c;1周上线&#xff1b; 免费稿件评估 …

【前端】-音乐播放器(源代码和结构讲解,大家可以将自己喜欢的歌曲添加到数据当中,js实现页面动态显示音乐)

前言&#xff1a;音乐播放器是前端开发中的一个经典项目&#xff0c;通过它可以掌握很多核心技术&#xff0c;如音频处理、DOM操作、事件监听、动画效果等。这个项目不仅能提升前端开发的技能&#xff0c;还能让开发者深入理解JavaScript与HTML的协同作用。 页面展示&#xff1…

虚拟机linux7.9下安装mysql

1.MySQL官网下载安装包&#xff1a; MySQL :: Download MySQL Community Server https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz 2.解压文件&#xff1a; #tar xvzf mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz 3.移动文件&#…

03_CC2530基于定时器3的Delay_ms函数

CC2530定时器3与Delay_ms延时函数 前言 ​ Delay函数是开发中常用到的函数&#xff0c;可以用于按键消抖&#xff0c;LED闪烁&#xff0c;生成一定频率信号等(软件模拟通讯协议)。由于利用循环执行一定次数的空指令实现的延时函数在精度上并不能让人满意&#xff0c;而用定时…

【系统面试篇】其他相关题目——虚拟内存、局部性原理、分页、分块、页面置换算法

目录 一、相关问题 1. 什么是虚拟内存&#xff1f;为什么需要虚拟内存&#xff1f; &#xff08;1&#xff09;内存扩展 &#xff08;2&#xff09;内存隔离 &#xff08;3&#xff09;物理内存管理 &#xff08;4&#xff09;页面交换 &#xff08;5&#xff09;内存映…

43.第二阶段x86游戏实战2-提取游戏里面的lua

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 本次游戏没法给 内容参考于&#xff1a;微尘网络安全 本人写的内容纯属胡编乱造&#xff0c;全都是合成造假&#xff0c;仅仅只是为了娱乐&#xff0c;请不要…

容器内pip安装Apache Airflow的经历:如何重置初始密码

背景 Apache Airflow™https://github.com/apache/airflow 是一个开源平台&#xff0c;用于开发、调度和监控面向批处理的工作流程。Airflow 可扩展的 Python 框架使您能够构建几乎可以连接任何技术的工作流程。Web 界面有助于管理工作流程的状态。Airflow 可以通过多种方式部…

Java爬虫 爬取某招聘网站招聘信息

Java爬虫 爬取某招聘网站招聘信息 一、系统介绍二、功能展示1.需求爬取的网站内容2.实现流程2.1数据采集2.2页面解析2.3数据存储 三、其它1.其他系统实现 一、系统介绍 系统主要功能&#xff1a;本项目爬取的XX招聘网站 二、功能展示 1.需求爬取的网站内容 2.实现流程 爬虫…

stm32不小心把SWD和JTAG都给关了,程序下载不进去,怎么办?

因为想用STM32F103的PA15引脚&#xff0c;调试程序的时候不小心把SWD和JTAD接口都给关了&#xff0c;先看下罪魁祸首 GPIO_PinRemapConfig(GPIO_Remap_SWJ_JTAGDisable,ENABLE);//关掉JTAG&#xff0c;不关SWGPIO_PinRemapConfig(GPIO_Remap_SWJ_Disable, ENABLE);//关掉SW&am…

雷军-2022.8小米创业思考-11-新零售:用电商思维做新零售,极致的效率+极致的体验。也有弯路,重回极致效率的轨道上。

第十一章 新零售 当我们说到小米模式的时候&#xff0c;其实我们说的是两件东西&#xff1a; 一是小米模式的本质&#xff0c;即高效率的商业模式&#xff1b; 另一件是小米这家公司具象的商业模式&#xff0c;这是小米在实践中摸索、建立的一整套业务模型。 从2015年到202…

C语言实现数据结构之堆

文章目录 堆一. 树概念及结构1. 树的概念2. 树的相关概念3. 树的表示4. 树在实际中的运用&#xff08;表示文件系统的目录树结构&#xff09; 二. 二叉树概念及结构1. 概念2. 特殊的二叉树3. 二叉树的性质4. 二叉树的存储结构 三. 二叉树的顺序结构及实现1. 二叉树的顺序结构2.…

知识课堂之域名系统中实现动态代理

怎么在域名系统中解析动态ip&#xff0c;这一直是一个需要解决的问题&#xff0c;人们对与网络的稳定连接与灵活运用已经成为生活和工作中不可或缺的一部分&#xff0c;因此这样的问题的解决迫在眉睫。 大家对于动态ip是什么&#xff0c;应该都有所了解了&#xff0c;所谓的动…

5G周边知识笔记

这里写目录标题 3GPP 5G标准路径图5G协议规范5G新空口关键指标4G LTE和5G NR新空口技术对比5G新频段FR1FR2 信道带宽上下行解耦新频点规划&#xff0c;信道栅格FR1各频段实际信道栅格和NR-ARFCN范围定义 同步栅格大规模天线阵列新型调制编码技术大规模载波聚合设备到设备直接通…

uniapp配置h5路由模式为history时404

为了不让URL中出现#&#xff0c;让uniapp项目配置h5路由模式为hisory 然而本地好好的&#xff0c;放到服务器上却404了。 解决方法是给nginx配置一个伪静态&#xff1a; location /xxx-html/ {alias /home/nginx_web/xxx_new_html/;try_files $uri $uri/ /xxx-html/index.ht…