大数据学习(1)-大数据概述

文章目录

  • 目录
      • 大数据产生背景
      • 大数据概念
      • 大数据影响
      • 大数据应用
      • 大数据关键技术
      • 大数据产业
      • 大数据,云计算,物联网关系
        • 云计算
        • 物联网
        • 大数据,物联网,云计算三者之间联系

目录

大数据产生背景

  1. 三次信息化浪潮

根据IBM前首席执行官郭士纳福观点,每15年IT领域就会迎来一次重大的变革。

在这里插入图片描述
2.大数据产生的技术支撑

数据存储+数据处理+数据传输

  • 存储设备容量的不断增大和价格的不断降低
  • CPU处理能力的大幅度提升
  • 网络带宽的不断增加

3.数据产生方式的变革
在这里插入图片描述
4.大数据发展的三个阶段
在这里插入图片描述

大数据概念

1.大数据:“4V”

volume(大量化),Velocity(快速化) , Variety(数据多样化) , Value less(数据价值密度低)

  • 大量化:大数据的大体现在数据量非常的多。

    大数据摩尔定律:数据一致直以每年50%的增长速率进行增长,每两年涨一倍。

  • 数据多样化:大数据是由结构化数据和非机构化数据组成,其中10%为结构化的数据存储在数据库中,剩下的90%的数据为非结构化的数据,包括文本,图像,语音,视频等。

  • 快速化:处理速度极快,从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间比较短。1S定律。

  • 数据价值密度低:大量数据中只有小部分的数据有极高的价值。

大数据影响

1.科学研究
实验->理论->计算->数据驱动

2.思维

  • 全样非抽样:由于大数据技术发展,可以对全样本进行分析,而不是之前的抽样分析。
  • 效率非精确:大数据时代由于是基于全样本分析,所以不存在从抽样到全样的误差放大问题,所以更加关注的是效率。
  • 相关非因果:大数据时代关注的更多的是物体之间的关联性,而非因果性。

3.社会发展

  • 大数据决策被用于大量的行业

4.就业方面

  • 数据科学行业成为热门行业

5.人才培养

大数据应用

大数据无处不在,包括金融,汽车,零售,餐饮,电信,能源,政务,医疗,体育,娱乐等。
在这里插入图片描述

大数据关键技术

数据分布式存储 + 数据分布式处理

在这里插入图片描述
在这里插入图片描述

目前没有一款大数据产品可以解决所有的大数据问题,所以我们应该根据具体的问题选择合适的大数据产品。

在这里插入图片描述

大数据产业

大数据产业是指一切与支撑大数据组织管理和价值发现先关的企业经济活动

在这里插入图片描述

大数据,云计算,物联网关系

云计算,大数据,物联网三者相辅相成,共同促进。

云计算

1.概念

在这里插入图片描述
在这里插入图片描述
2.关键技术
在这里插入图片描述

3.云计算数据中心
在这里插入图片描述

4.云计算应用

在这里插入图片描述

物联网

1.概念
在这里插入图片描述
2.关键技术
在这里插入图片描述
3.物联网应用

在这里插入图片描述
4.物联网产业
在这里插入图片描述

大数据,物联网,云计算三者之间联系

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445383.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java常用类介绍及源码阅读(LinkedList)

java.util 类 LinkedList<E> java.lang.Objectjava.util.AbstractCollection<E>java.util.AbstractList<E>java.util.AbstractSequentialList<E>java.util.LinkedList<E> List 接口的链接列表实现。实现所有可选的列表操作&#xff0c;并且允…

矩阵论-集合与映射,线性空间及其性质

线性空间与线性变换综述1.1 线性空间1.1.1 集合与映射1.1.2 线性空间及其性质综述 本系列博文主要总结学习矩阵论的心得笔记&#xff0c;参考数目《矩阵论》–张凯院&#xff1b;整个文章的整理体系参照行书过程。 1.1 线性空间 1.1.1 集合与映射 1.集合&#xff1a;将很多…

机器学习知识总结系列-机器学习中的数学-概率与数理统计(1-3-1)

文章目录目录1.概率与统计1.1 机器学习与概率统计之间的关系1.2 重要的统计量1.2.1 期望1.2.2 方差1.2.3 协方差&#xff0c;相关系数协方差相关系数1.2.4 矩1.3 重要的定理与不等式1.4 用样本估计参数目录 1.概率与统计 1.1 机器学习与概率统计之间的关系 1.什么是概率问题…

redis——事件

redis服务器是一个事件驱动程序。 需要处理两类事件&#xff1a; 1&#xff09;文件事件&#xff1a;redis是通过套接字与客户端或者其他服务器连接的&#xff0c;而文件事件就是服务器对套接字操作的抽象。 2&#xff09;时间事件&#xff1a;服务器对一些定时操作的抽象。…

自然语言处理(1)-概述

自然语言处理-概述概述1.基本概念2.人类语言技术HLT发展简史3.HLT 研究内容4.基本问题和主要困难5.基本研究方法概述 本系列文章计划总结整理中国科学院大学宗成庆老师《自然语言处理》课程相关知识&#xff0c;参考数目《统计自然语言处理》-第二版&#xff0c;宗成庆。 1.基…

redis——客户端

redis服务器是典型的一对多服务器&#xff0c;通过使用由IO多路复用技术实现的文件事件处理器&#xff0c;redis服务器使用了单线程单进程的方式来处理请求。 客户端的属性 描述符 客户端状态的 fd 属性记录了客户端正在使用的套接字描述符&#xff1a; typedef struct red…

矩阵论-线性空间的基与坐标,基变换坐标变换

线性空间与线性变换综述1.1 线性空间1.1.3 线性空间的基与坐标1.1.4 基变换与坐标变换综述 本系列博文主要总结学习矩阵论的心得笔记&#xff0c;参考数目《矩阵论》–张凯院&#xff1b;整个文章的整理体系参照行书过程。 1.1 线性空间 1.1.3 线性空间的基与坐标 向量的坐…

大数据学习(2-1)-Hadoop安装教程-单机模式和伪分布模式(Ubuntu14.04LTS)

文章目录目录1.linxu的安装1.1安装Linux虚拟机1.2安装Linux和Windows双系统2.Hadoop的安装2.1 Hadoop安装前配置2.1.1 配置Hadoop用户2.1.2 安装 ssh , 配置ssh免密登录2.1.3 安装java环境2.2 Hadoop的安装3.Hadoop单机版配置4.Hadoop伪分布版配置目录 1.linxu的安装 1.1安装…

mysql——JDBC

概述 JDBC&#xff1a;java Data Base Connectivity ,java数据库连接&#xff0c;它是一种用于执行sql语句的java API&#xff0c;为多种关系数据库提供统一访问。 其实就是一组用java编写的类和接口。 JDBC API 提供两类主要接口&#xff1a; 1&#xff09;面向开发人员的…

数组精选题目三连(6)

题目一&#xff1a;调整有序的arr数组&#xff0c;使得左半部分有序且不重复&#xff0c;不用保证右边是否有序。 思路&#xff1a; u : 左边的最后位置&#xff0c;即0---u为答案 i : 从u到右遍历 当arr[i]和arr[u]不相等时&#…

大数据学习(2-2)- 使用docker安装配置Hadoop环境

我的思路是这样&#xff1a;安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、Slave1、Slave2)---->完成完全分布式 1. 安装ubuntu系统(无论你是安装的单系统&#xff0c;还是用虚拟机安装了ubuntu) 如果想安装单…

自然语言处理(2)-信息论基础

自然语言处理-数学基础概述1.信息论基础1.1熵1.2 联合熵和条件熵1.3 相对熵和交叉熵1.4 互信息和双字耦合度1.5 噪声信道模型概述 本系列文章计划总结整理中国科学院大学宗成庆老师《自然语言处理》课程相关知识&#xff0c;参考数目《统计自然语言处理》-第二版&#xff0c;宗…

servlet基础总结

什么是servlet Servlet&#xff08;Server Applet&#xff09;是Java Servlet的简称&#xff0c;是小服务程序或服务连接器&#xff0c;是用Java编写的服务器端程序&#xff0c;主要功能在于交互式地浏览和修改数据&#xff0c;生成动态Web内容. 狭义的Servlet是指Java语言实…

大数据学习(3)- 分布式文件系统HDFS

文章目录目录1.分布式文件系统1.1 计算机集群概念1.2 分布式文件系统结构2.HDFS简介2.1 HDFS设计的目标2.2HDFS的局限性2.3 块的概念2.4 HDFS主要组件及其功能2.4.1 名称节点2.4.2 第二名称节点2.4.3 数据节点3.HDFS体系结构3.1 HDFS体系结构介绍3.2 HDFS体系结构的局限性4.HDF…

Python 图片转简单字符画

字符画是一系列字符的组合&#xff0c;我们可以把字符看作是比较大块的像素&#xff0c;一个字符能表现一种颜色&#xff08;暂且这么理解吧&#xff09;&#xff0c;字符的种类越多&#xff0c;可以表现的颜色也越多&#xff0c;图片也会更有层次感。 灰度值&#xff1a;指黑…

大数据学习(4)--分布式数据库HBase

文章目录目录1.HBase概述1.1BigTable1.2 HBase简介1.3 HBase和传统的关系型数据库之间的区别2.HBase访问接口3.HBase数据模型3.1 数据模型概述3.2 数据模型相关概念3.3 数据坐标3.4 概念视图3.5 物理视图3.6 面向列的存储4.HBase的实现原理4.1 HBase功能组件4.2 表和region4.3 …

servlet中的数据存储

在servlet基础中&#xff0c;我们&#xff1a; 用以下几种方式实现数据存储和共享&#xff1a; 1&#xff09;在客户端页面和服务器端程序之间&#xff0c;用request中的getParameter()方法共享数据 2&#xff09;在请求和请求之间&#xff0c;可以用get/setAttribute方法来共…