SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。

简介

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,对业务运行状态进行实时监测、预警,提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS

官网地址:https://www.taosdata.com/

文档地址:https://docs.taosdata.com/get-started/package/

注意事项

  1. 安装步骤及配置文件配置信息请参考官网,有详细说明
    1. 密码设定 alter user root pass ‘youpassword’
    2. 登录: taos 或者 taos -u root -p
  2. sql遵循sql规范,对于大部分mysql 语法有较好的兼容性,因为数据记录而生故不存在修改语法,如需修改可直接根据timestamp直接使用insert
  3. 数据迁移请参考datax 组件手册,地址:https://gitcode.com/alibaba/datax/tree/master,迁移方法请参考:https://blog.csdn.net/u013810234/article/details/130910778
  4. 链接方式分为两种,taosc远程链接及REST 连接链接(此连接方式需要启动taosAdapter服务),原生链接方式效率比rest方式 提升30%
  5. 数据建模方面,超级表与子表概念类似分表,语法参考官网,数据查询查询超级表即可,数据插入可用超级表语法或者子表语法都可
  6. TDengine无普通字段索引,索引都为标签索引(类型分表规则字段)
  7. 函数,mysql 切换为TDengine时,注意不可使用特定语法,或者需要自定义函数(仅支持python 和 c 语言)
  8. TDengine字段无默认值设定,自增键,事务等,请程序指定处理
  9. 建议:行数据可排除非必要字段,存关键性信息,可增加存储效率及查询效率
  10. mybatis中插入不可使用insert标签,报 api 不支持错误,需要使用update标签
  11. 分组查询最新数据时,不可使用主键(timestamp标签),作为最新标准
  12. 使用druid 数据源时 设置属性druid.stat.mergeSql = false,会mergeSql错误

项目中使用情况

  1. pom引入依赖

    <dependency><groupId>com.taosdata.jdbc</groupId><artifactId>taos-jdbcdriver</artifactId><version>3.2.4</version></dependency>
    
  2. 设置JDBC 数据源,例如

    slave:# 从数据源开关/默认关闭enabled: truedriverClassName: com.taosdata.jdbc.TSDBDriverurl: jdbc:TAOS://123.57.23.160:8630/digital_constr?charset=UTF-8&locale=en_US.UTF-8username: rootpassword: JoygisIot@2023validationQuery: select server_status()
    
  3. 添加DruidTaosDataProperties,详情见代码

image.png

image.png

  1. 不可使用 ifnull,ROUND等mysql函数变动请查看CompactionDataMapper.xml.back和CompactionDataMapper.xml,空判断或者小数位,请代码判断

客户端工具

  1. 安装TDengine客户端工具 ,地址: https://www.taosdata.com/assets-download/3.0/TDengine-client-3.2.2.0-Windows-x64.exe
  2. 安装dbeaver工具(字符串类型请以服务器类型做对比,**script查询可能存在字符集问题,**显示为16进制的ASCLL码,为工具问题
  3. 选择数据源为TDengine
    image.png
  4. 原生连接请选择url连接方式,方法如上
  5. 也可使用可视化工具TDengineGUI

数据迁移

利用阿里云开源项目 datax 进行数据迁移,需要用到python环境,请自行安装python3

注意: 原生包不支持 TDengine3 请参考上述”注意点“中文档

  1. 创建tag 中需要分片的所有表,例如:DataMigration.createTaosTables
  2. 将目标表名,添加到datax中
  3. 生成迁移数据查询sql,并添加到datax.json 源数据中
  4. 执行python datax.py …/job/datax.json

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/646310.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

tp5中使用ueditor编辑器保存文本到数据库后编辑时数据回显显示html标签问题解决办法

数据表中保存的数据为带html标签的源码&#xff0c;如图&#xff1a; 编辑器页面需要的内容&#xff1a; <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN""http://www.w3.org/TR/html4/loose.dtd"> <html> <head><…

网络通信课程总结(小飞有点东西)

27集 局域网通信&#xff1a;用MAC地址 跨局域网通信&#xff1a;用IP地址&#xff08;MAC地址的作用只是让我们找到网关&#xff09; 又因为arp技术&#xff0c;可以通过MAC地址找到IP地址&#xff0c;所以我们可以通过IP地址定位到全世界任意一台计算机。 28集 在数据链路…

255:vue+openlayers 加载tomtom地图(多种形式)

第255个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+openlayers中添加tomtom地图,这里包含了多种形式,诸如中文标记、英文标记、白天地图、晚上地图、卫星影像图,高山海拔地形图等。 直接复制下面的 vue+openlayers源代码,操作2分钟即可运行实现效果 文章目录 示…

爬虫是什么 怎么预防

爬虫是一种自动化程序&#xff0c;用于从网页或网站中提取数据。它们通过模拟人类用户的行为&#xff0c;发送HTTP请求并解析响应&#xff0c;以获取所需的信息。 爬虫可以用于各种合法用途&#xff0c;如搜索引擎索引、数据采集和监测等。然而&#xff0c;有些爬虫可能是恶意的…

2. figure 常见属性

2. figure 常见属性 一 figsize二 dpi三 facecolor四 edgecolor五 frameon 数据可视化是数据分析中不可或缺的一环&#xff0c;而Matplotlib作为Python中最流行的绘图库之一&#xff0c;扮演着重要的角色。在Matplotlib中&#xff0c;matplotlib.figure.Figure对象是构建图形的…

3d模型素材下载选择哪个网站比较好?

3d模型素材下载选择哪个网站比较好?需要在选择3D模型素材下载网站时&#xff0c;考虑以下几个方面&#xff1a; 1、网站的专业性和知名度&#xff1a;选择知名的、专业的网站可以提高获取到优质模型素材的概率&#xff0c;并且能够保证模型的品质和准确性。 2、模型的种类和质…

unity学习笔记----游戏练习06

一、豌豆射手的子弹控制 创建脚本单独控制子弹的运动 用transform来控制移动 void Update() { transform.Translate(Vector3.right * speed * Time.deltaTime); } 创建一个控制子弹速度的方法&#xff0c;方便速度的控制 private void SetSpeed(float spee…

Qt顶部圆角窗体

Qt&#xff1a;实现顶层窗体圆角_qt 圆角窗口弹窗-CSDN博客 setWindowFlags(Qt::FramelessWindowHint);QBitmap bmp(this->size());bmp.fill();QPainter p(&bmp);p.setPen(Qt::NoPen);p.setBrush(Qt::black);p.setRenderHint(QPainter::Antialiasing);p.drawRoundedRec…

如何设计性能测试用例!一文1000字详解(建议收藏)

性能测试是确保软件应用在各种负载和条件下都能保持良好性能的关键活动&#xff0c;涉及到系统的响应时间&#xff0c;还包括吞吐量、资源利用率、可靠性和系统的可伸缩性。 性能测试用例设计需要对业务需求和系统行为有深刻理解&#xff0c;设计过程涉及确定测试目标、选择相…

Docker应用-自定义网络连接

Docker网络 文章目录 Docker网络网络的基础配置自定义网络网络连通 网络的基础配置 大量的互联网应用服务包括多个服务组件&#xff0c;这往往需要多个容器之间通过网络通信进行互相配合。 目前Docker提供了映射容器端口到宿主机主机和容器互联机制来为容器提供网络服务&…

软件功能测试如何确定测试需求?CMA、CNAS软件测试报告获取

软件功能测试是为了验证软件的功能是否按照设计要求正常工作的过程&#xff0c;可以确保软件的质量&#xff0c;提高用户体验&#xff0c;也是保证软件安全和可靠性的重要一环。我们需要从多个角度对软件的各个功能模块进行测试&#xff0c;确保每个功能都能正常运行&#xff0…

抖捧AI实景自动直播怎么玩

​在如今的全民直播时代&#xff0c;直播已经成为了众多实体店、品牌方所刚需的技能&#xff0c;但是大多数都不具备太多的直播能力 &#xff0c;这个时候实景自动直播就应运而生&#xff0c;但是很多人都没有想清楚&#xff0c;AI实景自动直播&#xff0c;到底适不适合自己用呢…

蓝桥杯(Python)每日练Day5

题目 OJ1229 题目分析 题目完全符合栈的特征&#xff0c;后进先出。如果能够熟练使用列表的9种方法那么这道题很容易解出。 题解 a[]#存衣服 nint(input()) for i in range(n):llist(input().split())#判断每一步的操作if len(l[0])2:a.append(l[1])else:while a.pop()!l…

本地部署Tomcat开源服务器并结合内网穿透远程访问

文章目录 前言1.本地Tomcat网页搭建1.1 Tomcat安装1.2 配置环境变量1.3 环境配置1.4 Tomcat运行测试1.5 Cpolar安装和注册 2.本地网页发布2.1.Cpolar云端设置2.2 Cpolar本地设置 3.公网访问测试4.结语 前言 Tomcat作为一个轻量级的服务器&#xff0c;不仅名字很有趣&#xff0…

Obsidian笔记软件结合cpolar实现安卓移动端远程本地群晖WebDAV数据同步

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【Kubernetes】深入了解Kubernetes(K8s):现代容器编排的引领者

欢迎来到英杰社区&#xff1a; https://bbs.csdn.net/topics/617804998 欢迎来到阿Q社区&#xff1a; https://bbs.csdn.net/topics/617897397 作者简介&#xff1a; 辭七七&#xff0c;目前大二&#xff0c;正在学习C/C&#xff0c;Java&#xff0c;Python等 作者主页&#xf…

JavaEE之多线程编程:4. 线程安全(重点!!!)

文章目录 一、观察线程不安全二、线程安全的概念三、线程不安全的原因1. 关于线程不安全的解释1. 抢占式执行2. 修改共享数据3. 原子性4. 可见性5. 指令重排序问题 四、解决之前的线程不安全的问题五、synchronized 关键字&#xff08;两个线程同时修改一个变量&#xff09;1. …

python基础教程:属性查询顺序,数据描述符

嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 数据描述符&#xff0c;属性查找优先级 如果在一个类中定义了 __get__() , __set__(), __delete__() 这三种方法之一&#xff0c;那么这个类是一个描述符。 描述符分成两种&#xff1a; 如果这种类只定义了 __get__ 方法&…

核桃的数量---蓝桥杯

思路&#xff1a; 题目所代表的意思就是a,b,c这三个必须是核桃数量的因子&#xff0c;即a,b,c三个的最小公倍数 #include <iostream> #include <algorithm> using namespace std; // int main() { int a,b,c;cin>>a>>b>>c;int da*b/__gcd(a,b…

基于Django的计算机编程技术学习与服务平台

临近毕业&#xff0c;又到了赶毕设的时候了&#xff0c;本次介绍分享一下自己的毕业设计项目吧。 项目主题&#xff1a;基于Django的计算机技术编程技术学习与服务平台 实现功能&#xff1a; 1.登入&#xff1a;用户的登陆注册 2.Python教程&#xff1a;实现用户的Python技…