物联网技术-第5章-物联网数据处理

目录

1.物联网数据特征

2.物联网数据处理

(1)数据清洗

(2)数据存储

(3)数据融合

(4)数据挖掘

3.大数据基本概念

4.云计算基本概念

(1)背景

(2)模式

(3)分类 

(4)特征

(5)优势

(6)体系结构

(7)服务流程

5.致谢


1.物联网数据特征

(1)时序性:物联网数据是在时间序列上生成的,每个数据点都附带有时间戳,这有助于分析数据的时效性、完整性和一致性,并进行时间序列分析,发现数据中的趋势、周期性和异常。

(2)结构化:数据通常具有固定格式和类型,便于以表格或数据库形式存储管理。这些数据多为数值型(如温度、湿度测量值)或枚举型(如设备状态)。

(3)稀疏性:数据集中可能包含大量缺失值或无效值,源于传感器故障、网络问题等,需要预处理以确保数据分析的准确性。

(4)海量性:物联网系统生成的数据量极为庞大,要求高效的数据存储、压缩及传输技术以应对数据管理和分析的挑战。

(5)多样性:数据源自多种类型和功能的设备,不同设备的数据格式、精度、采集频率各异,需要数据融合与标准化处理。

(6)实时性:数据通常需要实时处理和分析,以支持快速决策和响应,这对数据处理系统的实时计算能力提出了高要求。

(7)数据源唯一性:每个采集点的数据源是唯一的,这有助于追踪数据源头并保证数据的准确性和可信度。

(8)极少更新或删除:一旦数据被记录,很少进行修改或删除操作,数据管理更侧重于新增和按期限淘汰。

(9)写多读少:操作模式上,数据写入频繁而读取相对较少,系统设计需优化写入性能。

(10)基于时间段和地理区域的查询:分析需求常聚焦于特定时间段或地理区域内的数据趋势,而非单一数据点。

(11)数据保留期限:数据通常按预定的保留策略定期删除,以管理存储资源。

(12)实时计算与统计:数据往往需要实时的统计和聚合处理,以支撑即时的业务洞察和决策。

(13)流量平稳:尽管数据量大,物联网数据流量相对平稳,可预测性较强,有利于资源规划。

2.物联网数据处理

物联网数据流程包括:数据清洗、数据存储、数据融合、数据挖掘、智能决策等步骤

(1)数据清洗

数据清洗(Data Cleaning) 是对数据进行审查和校验的过程, 目的在于删除重复信息、纠正存在的错误(处理无效值和缺失值)、 保证数据的一致性

(2)数据存储

数据存储(Data Storage) 是对信息(数据)进行 归档 整理 共享 的过程——将数据以某种格式记录在计算机内部或外部存储介质上。
常用的存储介质有:磁带、磁盘、光盘、U盘等。
MapReduce 是Google公司工程师Jeffrey Dean提出的处理大规模数据集(大于1TB)的 分布 式并行计算 编程模型,是Google云计算的核心技术
HDFS (Hadoop Distributed File System)是一种高度容错的 分布式文件系统模型 ,由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上,而且能够提供高吞入量的数据访问。

(3)数据融合

数据融合(Data Fusion) 技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。

(4)数据挖掘

数据挖掘(Data Mining) 是指应用一定的分析方法,从大量数据中提取出一些有价值的信息和知识的过程。

3.大数据基本概念

大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的“ 5V ”特征
大体量 (Volume):数据量达到数百TB到数百PB,甚至是EB的规模
多样性 (Variety):数据为各种格式与各种类型
时效性 (Velocity):数据需要在一定的时间限度下得到及时处理
准确性 (Veracity):处理结果要保证一定的准确性
大价值 (Value):分析挖掘的结果可以带来重大的经济效益与社会效益

4.云计算基本概念

(1)背景

互联网 使得人们对软件的认识和使用模式发生了潜移 默化的改变。计算模式的变革必将会带来一系列的挑战。
如何获取 海量的存储和计算资源
如何在互联网这个无所不包的平台上更 经济地运营 服务 ?
如何才能使互联网服务更加 敏捷 、更 随需应变 ?
如何让企业和个人用户更加 方便 、透彻地理解与运 用层出不穷的服务?
所有这些问题的答案就是--云计算!!!
在“云计算”中,用户所面对的不再是真实的 物理设备 ,不再是针对某一用户而设计,而是可以为多个用户(租户) 服务 。具体的计算环境、信息存储都在 云端

(2)模式

云计算是一种计算模式,它是将计算与存储资源、软件与应用作为服务,通过网络提供给用户
用户可以像使用水、电一样按需购买和使用云计算资源

(3)分类 

IaaS —基础设施即服务,只涉及到租用硬件,是一种最基础的服务
PaaS —平台即服务,已经从硬件的基础上,租用一个特定的操作系统与应用程序,来自
己进行应用软件的开发
SaaS —软件即服务,在云平台提供的定制软件上,直接部署自己的应用系统
云计算分类
分类服务类型运用的灵活性运用的难易程度
基础设施云 IaaS
接近原始的计算
存储能力
平台云 PaaS
应用的托管环境
应用云 SaaS
特定功能的应用

(4)特征

(5)优势

1.优化产业布局
云计算促使IT从以前那种自给自足的作坊模式, 转化为具有规模化效应的工业化运营,一些小规模的 单个公司专有的数据中心将被淘汰,取而代之的是规 模巨大而且充分考虑资源合理配置的大规模数据中心。
2.推进专业分工
云计算提供商普遍采用大规模数据中心,比中小 型数据中心更专,管理水平更高,提供单位计算所需 的成本更低廉; 同时,专业的云计算提供商可以有更多的科研和 经费投人来推动数据中心的技术革新。
3.提升资源利用率
4.减少初期投资
云计算帮助用户降低IT成本体现在两个方面:
第一,用户不再需要进行巨大的一次性IT投资,彻 底省去了购置、安装、管理软、硬件的费用,因为 可以从云计算提供商那里租用这些IT基础设施;
第二,用户在使用这些IT资源时,可以按照自己的 实际使用量付费 , 这种在类型和时间上更加细粒度 的计费模型将有助于用户进一步降低IT成本。
5.降低管理开销
在虚拟化技术的支持下,Web应用可以被 做成虚拟器件,当需要启动服务的时候,被快
速部署到云计算环境中; 当服务不再需要时,可以取消部署以释放占 用的资源。可见,云计算可以在软件和解决方 案等不同层次提供极大的灵活性与自动化。

(6)体系结构

(7)服务流程

物联网设备 深入人类生活各个角落,实现感知功能的大范围覆盖
云计算技术 利用高性能与大规模的服务器集群,实现对海量数据的快速处理
物联网云平台 作为物联网设备与云服务的桥梁,结合二者的优势,向下管理各种边缘设备、向上为云服务提供各种帮助

5.致谢

 后续会陆续更新分享物联网技术课程相关知识,大家可以关注留言哈!希望可以和大家一起学习物联网技术,感受物联网技术的魅力!作者水平有限,不足之处还请大家批评指正!希望能和大家一起进步哟

                        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​   

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/31198.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RTD 基础知识——电阻温度检测器简介

电阻温度检测器或 RTD 可能是简单的温度传感器类型。这些设备的工作原理是金属的电阻随温度变化。纯金属通常具有正的电阻温度系数,这意味着它们的电阻随温度升高而增加。RTD 可在 -200 C 至 850 C 的较大温度范围内工作,并提供高精度、出色的长期稳定性…

HoVer-Net复现:手把手带你实现细胞核的分割与分类,并输出叠加图像|24-06-21

小罗碎碎念 先说一下,只要你跟着我一步一步走,你能实现的效果——对细胞核进行分割和分类,并在原始图像上以颜色叠加的方式直观地展示这些结果。 昨天我在交流群里进行了一下预热,并且提供了一些前期的教程,反响还不…

C# 实现去除多行文本框光标闪烁,并设置行距

一、前言 本篇主要通过继承RichTextBox 的方式实现去除多行文本框的光标闪烁,以及能够设置行距大小,这是因为C#提供的TextBox 和 RichTextBox 本身无这样的功能 二、代码 封装 RichTextBox 为CustomTextBox using System; using System.Collections.Ge…

解决element-plus没有导出的成员FormInstance

使用element-plus的el-form时,报错“"element-plus"”没有导出的成员“FormInstance”。你是否指的是“FooterInstance”? 解决方法: 引入ElForm类型,在外重新定义FormInstance的类型为ElForm的实例类型 示例: import…

React+TS前台项目实战(十四)-- 响应式头部导航+切换语言相关组件封装

文章目录 前言Header头部相关组件1. 功能分析2. 相关组件代码详细注释3. 使用方式4. Gif图效果展示 总结 前言 在这篇博客中,我们将封装一个头部组件,根据不同设备类型来显示不同的导航菜单,会继续使用 React hooks 和styled-components库来…

Oracle最终还是杀死了MySQL

起因 大约15年前,Oracle收购了Sun公司,从而也拥有了MySQL,互联网上关于Oracle何时会“扼杀MySQL”的讨论此起彼伏。 当时流传着各种理论:从彻底扼杀 MySQL 以减少对 Oracle 专有数据库的竞争,到干掉 MySQL 开源项目&…

qt开发-07_radioButton

QRadioButton 部件提供了一个带有文本标签的单选框(单选按钮)。 QRadioButton 是一个可以切换选中(checked)或未选中(unchecked)状态的选项按钮。 单选框通常呈现给用户一个“多选一”的选择。也就是说&…

Emacs之复制时:禁止转换成tab符号(一百三十九)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

购物网站系统

摘 要 随着互联网的快速发展,不同的平台软件也不断涌出市场,在众多的平台中,购物网站深受人们的欢迎,也成为生活中不可缺少的一部分。经过对国内外购物情况的调查,社区购物在近几年来成为电商发展的新趋势&#xff0c…

递归乘法00

题目链接 递归乘法 题目描述 注意点 保证乘法范围不会溢出 解答思路 使用加法代替乘法,递归计算A * B,每个递归的过程加上一个A,且对B减1,直到B为0为止 代码 class Solution {public int multiply(int A, int B) {if (B 0…

C++ 教程 - 05 构建编译

文章目录 构建工具cmake安装与使用CMakeLists.txt编写使用案例 构建工具 cmake, Cross Platform Make, (对C)跨平台编译工具,将CMakeLists.txt 文件编译为对应的文件,如linux下的 Makefile,然后使用make命…

[WTL/Win32]_[中级]_[MVP架构在实际项目中的应用]

场景 在开发Windows和macOS的界面软件时,Windows用的是WTL/Win32技术,而macOS用的是Cocoa技术。而两种技术的本地语言一个主打是C,另一个却是Object-c。界面软件的源码随着项目功能增多而增多,这就会给同步Windows和macOS的功能造成很大负担…

Github 2024-06-21 开源项目日报 Top10

根据Github Trendings的统计,今日(2024-06-21统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量TypeScript项目3Python项目3Java项目2非开发语言项目2JavaScript项目1Rust项目1Dart项目1HTML项目1Vue项目1C++项目1TensorFlow: 机器学习的开源…

用户和账号

chage、useradd、passwd、usermod、userdel、groupadd、gpasswd、groupdel、groups、 用户账号初始配置文件 .bashrc .bash_profile .bash_logout finger、w、who、users chmod、chowd、umask、last 1.用户的分类 Linux 用户三种角色 超级用户&#x…

LInux驱动开发笔记(十)SPI子系统及其驱动

文章目录 前言一、SPI驱动框架二、总线驱动2.1 SPI总线的运行机制2.2 重要数据结构2.2.1 spi_controller2.2.2 spi_driver2.2.3 spi_device2.2.4 spi_transfer2.2.5 spi_message 三、设备驱动的编写3.1 设备树的修改3.2 相关API函数3.2.1 spi_setup( )3.2.2 spi_message_init( …

使用GPG来解密和加密文件详解

文章目录 使用私钥解密文件示例步骤 注意事项加密文件前提条件导入公钥加密文件输出加密文件示例步骤注意事项邮箱不是必须的情况1:有多个公钥情况2:只有一个公钥示例步骤示例1:指定公钥ID或邮箱地址示例2:密钥环中只有一个相关的…

深度学习论文: Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

深度学习论文: Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data PDF: https://arxiv.org/abs/2401.10891.pdf 代码:https://github.com/LiheYoung/Depth-Anything PyTorch代码: http…

揭秘最酷的Matplotlib 风格库!

相信大家对Matplotlib多少有些了解,对于数据研究,最终的研究结果都尽可能利用可视化呈现,使其更加直观通俗易懂。而Matplotlib作为python家族中最为著名的绘图工具,其风格实在是有些无聊,有时会让人觉得科研工作者在可…

React中的JSX应该怎么用

什么是JSX JSX Javascript XML,JSX是一个 JavaScript 的语法扩展。 JSX可以很好地描述 UI 应该呈现出它应有交互的本质形式并且其完全可以和JavaScript融合在一起使用。而且具有 JavaScript 的全部功能。JSX 可以生成 React “元素”。 JSX代码示例: …

MicroBlaze IP核中Local Memory Bus (LMB)接口描述

LMB(Local Memory Bus)是一种同步总线,主要用于访问FPGA上的块RAM(Block RAM,BRAM)。LMB使用最少的控制信号和一个简单的协议,以保证块RAM能在一个时钟周期内被存取。所有的LMB信号都是高电平有…