大数据的概念
通俗的说法
大数据,按照我的理解比较通俗易懂的是在数据量很多很大的情况下数据处理速度需要足够快,用我们以前传统意义上的的技术比如关系型数据库mysql没办法处理或者处理起来非常复杂,必须有一些新的处理技术也就是大数据处理技术来帮助我们实现数据处理的需求。
正式的说法
1、是指无法在可承受的时间范围内用常规软件进行捕捉、管理和处理的数据集合。
2、是需要新的处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
3、大数据加云计算被认为是继信息化和互联网后整个信息产业的第三次革命。
大数据的特点
1、数据量巨大,可以从两方面去理解。一方面是从进入信息时代到目前为止产生的数据很多达到ZB(数据计量单位)之多,另一方面是数据增长量巨大,随着数字化、信息化、互联网化以及物联网化各种各样的应用越来越多,未来每个人每个机器每时每科的各种行为都会被当作数据录入到系统,可想而知数据增长得多少。
2、数据来源以及类型多,数据可以来自于现有的软件系统,未来可预见的软件系统,以及各个物联网传感器等等;文本/图片/视频等各种结构化(有固定的格式)、半结构化以及非结构化数据,数据类型复杂多样对数据处理能力提出更高要求。
3、要求处理速度快,基本上在如此大的数据量业务人员也是要求能够在短时间内获取数据处理结果,得到数据反馈。
4、数据价值密度低,数据量巨大有价值的数据很少,需要从海量的数据提取想要的信息表困难,所以很多数据分析以及数据挖掘技术也由此而诞生,所以还是那句话,需求和场景迫使大家去总结经验创造新技术来解决问题。
大数据的价值
1、更多,因为诞生了很多大数据处理技术,作为业务人员我们可以很贪心的想要更多更全的数据来帮助我们更好地做业务运营、决策,让数据驱动业务,让数据更有价值,我们只需要交给专业的数据人员来处理。
2、更好,现在数据处理技术可以很方便的关联更多信息和数据,让数据与数据之间有了更多的相关关系,也可以用可以各种数据清洗技术协助我们过滤不必要的数据,再者可以用数据挖掘技术得到更有价值的数据帮助业务成长。