大数据概论总结

 三次信息化浪潮 : 

信息技术的支撑 : 

存储设备容量不断增加

CPU的处理能力不断提高

网络带宽不断增加

数据产生方式的变革促成大数据时代的来临

  1. 运营式系统阶段
  2. 用户原创内容
  3. 感知式系统阶段

大数据发展历程 : 

分为三个阶段 : 

大数据的概念 : 

1 . 数据量大 : 

  • 根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)。
  • 人类在最近两年产生的数据量相当于之前产生的全部数据量
  • 预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量将增长近30倍。

2 . 数据类型繁多

大数据是由结构化和非结构化数据组成的
大部分数据都是非结构话数据;
结构化数据 : 
        

存储在关系型数据库中的结构化数据;

非结构化数据
如 : 图像,视频,等等

3 . 高处理速度

4 . 价值密度低,商业价值高

以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业价值。

大数据的影响

在社会发展方面:大数据决策逐渐成为一种新的决策方式,大数据应用有力促进了信息技术与各行业的深度融合,大数据开发大大推动了新技术和新应用的不断涌现。
在就业市场方面:大数据的兴起使得数据科学家成为热门职业。
在人才培养方面:大数据的兴起,将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。

大数据的应用 : 

大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。

大数据的关键技术 : 

包含4个层次 : 

其中最核心的两个技术层次 : 

  1. 数据的存储与管理
  2. 数据处理与分析

两大技术 : 

  1. 分布式存储
  2. 分布式处理

大数据的计算模式 : 

不同的计算模式要使用不同的处理技术(产品) : 

大数据计算模式及其代表产品 : 

大数据计算模式

解决问题

代表产品

批处理计算

针对大规模数据的批量处理

MapReduce、Spark等

流计算

针对流数据的实时计算

Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等

图计算

针对大规模图结构数据的处理

Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等

查询分析计算

大规模数据的存储管理和查询分析

Dremel、Hive、Cassandra、Impala等

1 . 批处理

批处理主要解决针对大规模数据的批量计算,MapReduce是最具代表性的批处理技术;

spark对mapreduce进行了很多方面的优化 ;

批处理无法进行实时处理;

2 . 流计算 

实时计算

3 . 图处理

解决图和网络数据的处理;

4 . 查询分析计算

针对超大规模的存储管理和查询分析;

大数据与云计算,物联网的关系

1.云计算

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

大数据与云计算、物联网的关系大数据与云计算、物联网的关系

云计算关键技术 : 

包括虚拟化,分布式存储,分布式计算,多租户等

2.物联网

物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。

关键技术 : 

物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。

3 . 关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/28007.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity:Text-TextMeshPro 不显示中文

共计四步: 一、去C盘复制一份字体: C:\Windows\Fonts二、粘贴到你的项目里(任意文件位置),得到“MSYH”: 三、右键字体文件,依次点击create–>TextMeshPro–>FontAsset: …

Mac平台上公认的最好的下载工具Folx Pro 5 for Mac激活码

Folx是什么 Folx Pro 5 for Mac是Mac平台上公认的最好的下载工具,功能可以与迅雷相媲美。 Folx是一款老牌下载神器,可通过URL链接和种子文件下载文件,同时提供了便捷的下载管理和灵活的应用设置,Folx可以对下载的资源进行分类&a…

勒索病毒搜索引擎

360勒索病毒搜索引擎 https://lesuobingdu.360.cn/ 腾讯勒索病毒搜索引擎 https://guanjia.qq.com/pr/ls/ VenusEye勒索病毒搜索引擎 https://lesuo.venuseye.com.cn/ 奇安信勒索病毒搜索引擎 https://lesuobingdu.qianxin.com/index/getFile 深信服勒索病毒搜索引擎…

韩顺平0基础学java——第22

p460-483 常用类 包装类Wrapper 针对8种几种数据类型相应的引用类型——包装类 包装类和基本数据类型的转换 jdk5之前的手动装箱和拆箱: jdk5之后的自动装箱和拆箱: 三元运算符是一个整体: 这个三元运算符里,精度最高的是doubl…

char name[10]和char *name用法

char name[10] 它声明了一个可以存储最多9个字符(加上一个结尾的空字符\0)的字符数组。给这个数组赋值有几种方式。 直接初始化 char name[10] "Alice";这里"Alice"是一个字符串字面量,它实际上是一个字符数组&#…

力扣第204题“计数质数”

在本篇文章中,我们将详细解读力扣第204题“计数质数”。通过学习本篇文章,读者将掌握如何使用埃拉托色尼筛法来解决这一问题,并了解相关的复杂度分析和模拟面试问答。每种方法都将配以详细的解释,以便于理解。 问题描述 力扣第2…

Elasticsearch与Kafka集成:实现数据流处理

在现代数据驱动的应用程序中,数据流处理扮演着至关重要的角色。从日志分析、事件驱动的应用程序到实时业务监控,数据需要被高效、实时地处理和存储。Elasticsearch和Kafka作为两个强大的开源工具,分别在数据存储和消息队列领域具有卓越的性能…

非线性规划解决工资分配问题

来源:河北工业职业技术大学 安彤彤 彭金杉 张家硕 题目 薪资发放问题 一般公司给职员发放薪金,通常按每月等额发放。某公司即将改进薪金发放方案,允许任职5年以上的职员向公司财务部门申请工资每月可变额度发放,每月工资发放额…

web前端筛选器:深度解析与高效应用

web前端筛选器:深度解析与高效应用 在web前端开发中,筛选器(Filter)是一个至关重要的工具,它能够帮助我们快速定位、选择并操作DOM元素。本文将从四个方面、五个方面、六个方面和七个方面,对web前端筛选器…

嵌入式系统中常用的参数存储方法

一、有哪些参数需要管理? 在智能硬件产品中,一般有三类数据需要存储并管理: 1. 系统设置数据 系统设置数据是指产品自身正常工作所依赖的一些参数。 这类数据的特点:只能在生产过程中修改,出厂后用户无权限修改。 比如:产品 SN、产品密钥/token/license、传感器校准值…

应急响应处置思路与流程

HVV中常见应急问题: 不确定攻击成功 服务器进行排查 windows服务器 账号排查 隐藏用户排查 net userwmic查看用户管理查看注册列表查看 账户登录日志排查 4624登录成功4625登录失败4720账户创建4724尝试重置密码4738账户已更改 logoff踢出用户 网络连接排…

从0开发一个Chrome插件:高级功能开发——网络请求拦截(7千字长文)

前言 这是《从0开发一个Chrome插件》系列的第十五篇文章,本系列教你如何从0去开发一个Chrome插件,每篇文章都会好好打磨,写清楚我在开发过程遇到的问题,还有开发经验和技巧。 专栏: 从0开发一个Chrome插件:什么是Chrome插件?从0开发一个Chrome插件:开发Chrome插件的必…

C# 循环

C# 循环 在编程中,循环是一种控制结构,它允许我们重复执行一段代码多次。C# 提供了几种循环机制,以适应不同的编程需求。本文将详细介绍 C# 中常用的几种循环类型,包括 for 循环、while 循环、do-while 循环和 foreach 循环&…

Vue3中VueRouter基本用法及与Vue2中路由使用差异解析

Vue Router 在 Vue3 中被重写,使用了 Vue3 的 Composition API。使用上跟Vue2 相比有些不同,需要注意。 首先,让我们来看一下 Vue3 中 VueRouter 的基本使用方法: 安装 Vue Router: npm install vue-routernext创建…

如何用AI提高产品经理的工作效率

最近我跟几个产品经理聊天,发现有些人居然还没有使用过ChatGPT、MidJourney、NotionAI 等AI工具。 产品经理有个重要的素质是好奇心,好奇心能够帮助产品经理发现新机会、了解用户需求、学习新知识和探索竞争对手,从而更好地完成产品开发和管…

【INTEL(ALTERA)】为什么 F-Tile DisplayPort FPGA IP 设计示例无法通过高比特率 3 (HBR3) 的 RX 链路调训?

目录 说明 解决方法 说明 由于 Quartus Prime Pro Edition 软件版本 v23.3 和 v23.4 生成的 F-Tile DisplayPort FPGA IP 设计示例中存在问题,您可能会在 HBR3 上观察到 RX 链路训练失败。 解决方法 要在这些软件版本中变通解决此问题,请使用以下 Rx…

Java基础语法Ⅰ【注释、关键字、字面量、变量】

Java基础语法① 注释关键字与标识符数据类型字面量和常量变量转义字符 注释 注释是在写代码时,对代码作出的一些解释说明,比如某一个函数的作用(功能)、函数接收的参数以及函数返回什么东西等等。 这些解释说明没有任何功能&…

轻松拿捏C语言——【关机代码】

🥰欢迎关注 轻松拿捏C语言系列,来和 小哇 一起进步!✊ 🎉创作不易,请多多支持🎉 🌈感谢大家的阅读、点赞、收藏和关注💕 🌹如有问题,欢迎指正 我们可以通过写…

Java面试题汇总(持续更新.....)

Java面试题 1. JVM & JDK & JRE Java虚拟机(JVM)是运行Java字节码的虚拟机,JVM有针对不同系统的特定实现,目的是使用相同的字节码,他们都会给出相同的结果。字节码和不同系统的JVM实现是Java语言“一次编译、…

【Java】类与类的关系及其总结

类和类的关系 代码 总结: 【1】面向对象的思维:找参与者,找女孩类,找男孩类 【2】体会了什么叫方法的性擦,什么叫方法的实参: 具体传入的内容 实参: 【3】类和类可以产生关系: …