目录
1.物联网数据特征
2.物联网数据处理
(1)数据清洗
(2)数据存储
(3)数据融合
(4)数据挖掘
3.大数据基本概念
4.云计算基本概念
(1)背景
(2)模式
(3)分类
(4)特征
(5)优势
(6)体系结构
(7)服务流程
5.致谢
1.物联网数据特征
(1)时序性:物联网数据是在时间序列上生成的,每个数据点都附带有时间戳,这有助于分析数据的时效性、完整性和一致性,并进行时间序列分析,发现数据中的趋势、周期性和异常。
(2)结构化:数据通常具有固定格式和类型,便于以表格或数据库形式存储管理。这些数据多为数值型(如温度、湿度测量值)或枚举型(如设备状态)。
(3)稀疏性:数据集中可能包含大量缺失值或无效值,源于传感器故障、网络问题等,需要预处理以确保数据分析的准确性。
(4)海量性:物联网系统生成的数据量极为庞大,要求高效的数据存储、压缩及传输技术以应对数据管理和分析的挑战。
(5)多样性:数据源自多种类型和功能的设备,不同设备的数据格式、精度、采集频率各异,需要数据融合与标准化处理。
(6)实时性:数据通常需要实时处理和分析,以支持快速决策和响应,这对数据处理系统的实时计算能力提出了高要求。
(7)数据源唯一性:每个采集点的数据源是唯一的,这有助于追踪数据源头并保证数据的准确性和可信度。
(8)极少更新或删除:一旦数据被记录,很少进行修改或删除操作,数据管理更侧重于新增和按期限淘汰。
(9)写多读少:操作模式上,数据写入频繁而读取相对较少,系统设计需优化写入性能。
(10)基于时间段和地理区域的查询:分析需求常聚焦于特定时间段或地理区域内的数据趋势,而非单一数据点。
(11)数据保留期限:数据通常按预定的保留策略定期删除,以管理存储资源。
(12)实时计算与统计:数据往往需要实时的统计和聚合处理,以支撑即时的业务洞察和决策。
(13)流量平稳:尽管数据量大,物联网数据流量相对平稳,可预测性较强,有利于资源规划。
2.物联网数据处理
物联网数据流程包括:数据清洗、数据存储、数据融合、数据挖掘、智能决策等步骤
(1)数据清洗
数据清洗(Data Cleaning) 是对数据进行审查和校验的过程, 目的在于删除重复信息、纠正存在的错误(处理无效值和缺失值)、 保证数据的一致性 。
(2)数据存储
数据存储(Data Storage) 是对信息(数据)进行 归档 、 整理 和 共享 的过程——将数据以某种格式记录在计算机内部或外部存储介质上。
常用的存储介质有:磁带、磁盘、光盘、U盘等。
MapReduce 是Google公司工程师Jeffrey Dean提出的处理大规模数据集(大于1TB)的 分布 式并行计算 编程模型,是Google云计算的核心技术
HDFS (Hadoop Distributed File System)是一种高度容错的 分布式文件系统模型 ,由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上,而且能够提供高吞入量的数据访问。
(3)数据融合
数据融合(Data Fusion) 技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。
(4)数据挖掘
数据挖掘(Data Mining) 是指应用一定的分析方法,从大量数据中提取出一些有价值的信息和知识的过程。
3.大数据基本概念
大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的“ 5V ”特征
大体量 (Volume):数据量达到数百TB到数百PB,甚至是EB的规模
多样性 (Variety):数据为各种格式与各种类型
时效性 (Velocity):数据需要在一定的时间限度下得到及时处理
准确性 (Veracity):处理结果要保证一定的准确性
大价值 (Value):分析挖掘的结果可以带来重大的经济效益与社会效益
4.云计算基本概念
(1)背景
互联网 使得人们对软件的认识和使用模式发生了潜移 默化的改变。计算模式的变革必将会带来一系列的挑战。
如何获取 海量的存储和计算资源 ?
如何在互联网这个无所不包的平台上更 经济地运营 服务 ?
如何才能使互联网服务更加 敏捷 、更 随需应变 ?
如何让企业和个人用户更加 方便 、透彻地理解与运 用层出不穷的服务?
所有这些问题的答案就是--云计算!!!
在“云计算”中,用户所面对的不再是真实的 物理设备 ,不再是针对某一用户而设计,而是可以为多个用户(租户) 服务 。具体的计算环境、信息存储都在 云端
(2)模式
云计算是一种计算模式,它是将计算与存储资源、软件与应用作为服务,通过网络提供给用户
用户可以像使用水、电一样按需购买和使用云计算资源
(3)分类
IaaS —基础设施即服务,只涉及到租用硬件,是一种最基础的服务
PaaS —平台即服务,已经从硬件的基础上,租用一个特定的操作系统与应用程序,来自
己进行应用软件的开发
SaaS —软件即服务,在云平台提供的定制软件上,直接部署自己的应用系统
云计算分类 分类 | 服务类型 | 运用的灵活性 | 运用的难易程度 |
基础设施云 IaaS | 接近原始的计算 存储能力 | 高 | 难 |
平台云 PaaS | 应用的托管环境 | 中 | 中 |
应用云 SaaS | 特定功能的应用 | 低 | 易 |
(4)特征
(5)优势
1.优化产业布局
云计算促使IT从以前那种自给自足的作坊模式, 转化为具有规模化效应的工业化运营,一些小规模的 单个公司专有的数据中心将被淘汰,取而代之的是规 模巨大而且充分考虑资源合理配置的大规模数据中心。
2.推进专业分工
云计算提供商普遍采用大规模数据中心,比中小 型数据中心更专,管理水平更高,提供单位计算所需 的成本更低廉; 同时,专业的云计算提供商可以有更多的科研和 经费投人来推动数据中心的技术革新。
3.提升资源利用率
4.减少初期投资
云计算帮助用户降低IT成本体现在两个方面:
第一,用户不再需要进行巨大的一次性IT投资,彻 底省去了购置、安装、管理软、硬件的费用,因为 可以从云计算提供商那里租用这些IT基础设施;
第二,用户在使用这些IT资源时,可以按照自己的 实际使用量付费 , 这种在类型和时间上更加细粒度 的计费模型将有助于用户进一步降低IT成本。
5.降低管理开销
在虚拟化技术的支持下,Web应用可以被 做成虚拟器件,当需要启动服务的时候,被快
速部署到云计算环境中; 当服务不再需要时,可以取消部署以释放占 用的资源。可见,云计算可以在软件和解决方 案等不同层次提供极大的灵活性与自动化。
(6)体系结构
(7)服务流程
• 物联网设备 深入人类生活各个角落,实现感知功能的大范围覆盖
• 云计算技术 利用高性能与大规模的服务器集群,实现对海量数据的快速处理
• 物联网云平台 作为物联网设备与云服务的桥梁,结合二者的优势,向下管理各种边缘设备、向上为云服务提供各种帮助
5.致谢
后续会陆续更新分享物联网技术课程相关知识,大家可以关注留言哈!希望可以和大家一起学习物联网技术,感受物联网技术的魅力!作者水平有限,不足之处还请大家批评指正!希望能和大家一起进步哟