数据分析的全貌

包括应用、观测和实验

观测

分为两部分观察和测量

观察

采集数据：

解析系统日志 : 产生日志、解析日志、得到数据

埋点获取新数据 ：日志记录新信息、解析日志、得到新数据

通过传感器收集：例如天气数据收集

爬虫：解析网站、抓取数据

API：API平台文档，用API获取数据

存储数据：

各种类型的数据库比如：hive、Mysql、SQLServer，连接数据库取数

展示数据：

可视化高效传递信息

测量：

分析数据的目的是什么？

第一要及时发现异常，第二找到数据之间的因果关系

因为数据是客观统一的，比如1+1=2，有统一的认知才能有共同的目标

测量分为：设定标准+发现异常——>研究关系（可以通过可视化查看相关性，也可以通过建模推导相关性）

实验

提出假设，然后验证假设

！！！注意：所有未经事实数据验证的想法都是假设

比如设计A/B测试获取数据

拆解方法：

流程拆解法：就是按照事情的发展变化过程进行拆解，比如生产流程可以拆解成前中后的工序（一定要拆解到完成有结果或者是到下一次循环的开始，这才能在不重叠的基础上保证不遗漏）

二分法：主要是非此即彼的反义词或者对应词，比如白天和黑夜，国内和国外，但也需要注意中性层的存在，这才能在不重叠的基础上保证不遗漏

象限拆解法：就是把二分法用两次交叉，形成四个象限

例如时间管理中常用的：

象限拆解法运用比较广泛：波士顿矩阵、swot分析

AARRR模型：是一个数据分析模型，从整个用户的生命周期入手包括五个阶段

1.获取（Acquisition）：用户从哪里来？

2.激活（Activation）：用户第一次体验如何？

3.留存（Retention）：用户使用了之后，是否还会继续使用

4.变现（Revenue）：用户是否愿意为产品付费？产品如何赚钱？

5.传播（Refer）：用户使用后是否愿意介绍给其他用户

PEST分析法：

行业受到政治环境、经济环境、社会环境和技术环境的影响

PEST分析法主要用于对行业的宏观环境的分析，虽然不同的行业和企业有其自身的特点和经营要素，分析的具体内容会有差异，但是一般都可以从PEST这四个方面进行分析

RFM模型：

Recency最近一次消费距离现在的时间

Frequency最近一次的消费频率

Monetary最近一次的消费总额

可以将用户分为8大类

5W2H模型：

what 要做什么事？ 确定需求

why 为什么做这件事？ 确定价值

How much 要做到什么程度？ 确定标准

How 怎么做？确定路径

Who 谁来做? 确定分工

When 什么时候完成？ 确定排期

Where 在哪里做？ 确定场地

注意：拆解方法只要符合MECE法则即可

MECE原则是麦肯锡咨询顾问巴巴拉·明托在金字塔原理中提出的一个很重要的原则

M（Mutually）相互

E（Exclusive）独立

C（Collectively）完全

E（Exhaustive）穷尽

也就是把一个重大的议题分解成更细的对象时做到不重叠不遗漏，如何做到不重叠+不遗漏，即就是很多的拆解方法

应用

如何应用数据创造价值？

1.基于数据反馈不断迭代产品和业务策略：不断迭代和飞速发展

2.基于数据训练算法，让机器自动化地完成工作：为算法设定明确地业务目标，为算法提供高质量地数据，判断算法是否真的创造了实际价值，帮助业务更好的使用算法