数据分析方法

什么是数据分析

从数据到信息的这个过程，就是数据分析。数据本身并没有什么价值，有价值的是我们从数据中提取出来的信息。

分类

分类分析的目标是：给一批人(或者物)分成几个类别，或者预测他们属于每个类别的概率大小。

　　举个栗子：“京东的用户中，有哪些会在618中下单?”这就是个典型的二分类问题：买or不买。

　　分类分析(根据历史信息)会产出一个模型，来预测一个新的人(或物)会属于哪个类别，或者属于某个类别的概率。结果会有两种形式：

　　形式1：京东的所有用户中分为两类，要么会买，要么不会买。

　　形式2：每个用户有一个“会买”，或者“不会买”的概率(显然这两个是等效的)。“会买”的概率越大，我们认为这个用户越有可能下单。

　　如果为形式2画一道线，比如0.5，大于0.5是买，小于0.5是不买，形式2就转变成形式1了。
　　

回归

回归任务的目标是：给每个人(或物)根据一些属性变量来产出一个数字(来衡量他的好坏)。

举个栗子：每个用户在618会为京东下单多少钱的?

注意回归和分类的区别在：分类产出的结果是固定的几个选项之一，而回归的结果是连续的数字，可能的取值是无限多的。

聚类

聚类任务的目标是：给定一批人(或物)，在不指定目标的前提下，看看哪些人(或物)之间更接近。

注意聚类和上面的分类和回归的本质区别：分类和回归都会有一个给定的目标(是否下单，贷款是否违约，房屋价格等等)，聚类是没有给定目标的。

举个栗子：给定一批用户的购买记录，有没有可能分成几种类型?(零食狂魔，电子爱好者，美妆达人……)

相似匹配

相似匹配任务的目标是：根据已知数据，判断哪些人(或物)跟特定的一个(一批)人(或物)更相似。

举个栗子：已知一批在去年双十一下单超过10000元的用户，哪些用户跟他们比较相似?

频繁集发现

频繁集发现的目标是：找出经常共同出现的人(或物)。这就是大名鼎鼎的“啤酒和尿布”的例子了。这个例子太容易扩展，就不再举栗子啦。

“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。

在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲前去超市购买尿布。父亲在购买尿布的同时，往往会顺便为自己购买啤酒，这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店，直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象，开始在卖场尝试将啤酒与尿布摆放在相同的区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物；而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件，从而获得了很好的商品销售收入，这就是“啤酒与尿布”故事的由来。

统计(属性、行为、状态)描述

统计描述任务的目标是最好理解的：具有哪些属性的人(或物)在什么状态下做什么什么事情。

举个栗子：5月份一个月内每个用户在京东7天内无条件退货的次数

统计描述常常用户欺诈检测，试想一个用户一个月退货100+次，这会是一种什么情况?

连接预测

连接预测的目标是：预测本应该有联系(暂时还没有)的人(或物)。

举个栗子：你可能认识xxx?你可能想看xxx?

数据压缩

数据压缩的目的是：减少数据集规模，增加信息密度。

举个栗子：豆瓣想分析用户关于国外电影的喜好，将国内电影的评分数据都排除

大数据，也不是数据越多越好，数据多带来的信息多，但是噪声也会变多。

因果分析

顾名思义，因果分析的目标是：找出事物间相互影响的关系。

举个栗子：广告的效果提升的原因是广告内容好?还是投放到了更精准的用户?

这里最常见的手段就是A/B test。

在运营过程中，AB测试用得更加普遍，比如发送邮件或者广告，先拿小样本，测试多个版本，数据表明哪一个广告或邮件的转化率高，就用哪一个邮件或广告。

1 什么是A/B测试？

A/B测试是一种流行的网页优化方法，可以用于增加转化率注册率等网页指标。简单来说，就是为同一个目标制定两个方案（比如两个页面），将产品的用户流量分割成 A/B 两组，一组试验组，一组对照组，两组用户特点类似，并且同时运行。试验运行一段时间后分别统计两组用户的表现，再将数据结果进行对比，就可以科学的帮助决策。比如在这个例子里，50%用户看到 A 版本页面，50%用户看到 B 版本页面，结果 A 版本用户转化率 23%，高于 B 版本的 11%，在试验流量足够大的情况下，我们就可以判定 A 版本胜出，然后将 A 版本页面推送给所有的用户。

AB测试本质上是个分离式组间实验，以前进行AB测试的技术成本和资源成本相对较高，但现在一系列专业的可视化实验工具的出现，AB测试已越来越成为网站优化常用的方法。

A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。