pandas 根据单号分类_由 “猫捉老鼠”游戏联想的用户分类问题

一、说在最前

用户识别，用户分类，精准营销…这是咱们业务人员常常念叨的话。底层逻辑为无论任何营销目的，在营销手段上，越针对某一细化群体，达成目的的概率也就会越大。那今天就来和大家说道说道用户识别/分类的一种方法。

(一)猫捉老鼠

标题中所说的猫和老鼠，不是汤姆and杰瑞，而是公司与黑产的对抗。我们在日常工作中也会有所耳闻和接触。比如平台有一些营销活动，无数黑产就会闻风而来，进行“薅羊毛”行为。

黑产往往有组织，有计划地进行套利，大多企业不会坐以待毙。攻防之间，套路不断演变、战场不断扩大、技术不断升级。本文就是基于黑产中的一个小场景展开了一场“猫捉老鼠”游戏。

(二)分类问题

猫捉老鼠的游戏也需要去识别是像杰瑞一样的“好老鼠”，还是过街被打的“坏老鼠”，这就涉及到分类问题了。最简单，也是最常见的就是"Yes/No"这样的二分类问题。比如：

某个模块被点击的可能性(点/不点)
某个用户买机票的可能性(买/不买)
某个用户是黄牛的可能性(是/不是)

有些问题无法立马得到确切回答，好比求婚时，你不知道得到"Yes"还是"No",这个时候也许可以求助于伟大的统计学了。

二、逻辑回归

提到二分类问题，经典的逻辑回归(Logistic Regression)就不得不登场了。虽然名字中带“回归”两字，但它解决的并不是回归问题，而是分类问题，且它是基于对某一类别或事件发生的概率进行建模的。比如：被点击/不被点击、会买/不会买、是黄牛/不是黄牛。明白了这一点，各位看官就随我一起来瞅瞅它是如何用概率进行分类的。

(一)线性回归VS逻辑回归

逻辑回归和线性回归在原理上有很多相似之处，对比来看会更加清晰。大多人对线性回归会比较熟悉，由此来引入逻辑回归，也比较易于理解和接受。

1、线性回归

有一组数据，包含两列：重量和尺寸。想探索二者之间的关系，自然建立一个线性回归模型，用重量预测尺寸。具体步骤如下：

(1)获取数据，包含重量和尺寸

(2)建立模型，拟合一条直线

在确定直线时，运用最小二乘法。计算每个点到拟合直线的距离(残差)，先平方再求和，然后通过最小化残差平方和，确定直线的斜率和截距。

(3)预测

利用重量和尺寸之间的线性关系，确定重量值之后，就可以预测对应的尺寸的值。

2、逻辑回归

逻辑回归用来预测分类问题，比如是否肥胖。有一组数据，包含两列：重量和是否肥胖。探索二者之间的关系，用重量来预测是否肥胖。

(1)获取数据，包含重量和它所属的类别，即是否肥胖。

(2)建立模型，拟合出一条S型曲线。

逻辑回归拟合的是一条S型曲线，并且曲线在纵轴的取值范围是0到1，代表的是以重量衡量时，属于肥胖的概率。

(3)模型解读，预测

对于A的重量，它属于肥胖的概率比较小，在0.5左右，对于B的重量，它属于肥胖的概率比较大，大约在0.9以上。当知道一个重量时，就能获得对应的属于肥胖的概率。

(二)逻辑回归的基本思想

复杂的算法原理公式在此就不具体展开了，感兴趣的小伙伴可以参考博文http://blog.csdn.net/pakko/article/details/37878837。不感兴趣的小伙伴可以直接跳到案例应用部分。

1、Sigmoid函数

在逻辑回归中，我们需要借助Sigmoid函数来构建似然函数。

2、最大似然估计

上述的小例子仅包含“重量”这一个特征，那当相关特征非常多的时候，我们需要给每个特征乘上一个系数，使用的方法是最大似然估计。

3、梯度下降法

使用梯度下降法获得最优参数，使得预测值和真实值之间的差距最小得到的最优结果。

(三)逻辑回归的用途

(1)寻找主要影响因素：系数绝对值越大，说明该变量越重要。(2)预测：预测在不同的自变量情况下，某事件发生的概率。(3)分类：据概率值大小，进行分类。

三、案例应用

本文开头介绍了猫和老鼠的游戏，接下来将使用LR模型，基于黑产其中的一个小场景——恶意占编进行黑用户的识别。

(一)案例背景

以购买机票为例，用户在任何平台创建订单后呢，平台会去锁定航司处这张票的资源。如果等用户支付后占编，就需要承担创单和支付订单时间差内的价差及库存变化，有高额成本。而支付前占编呢，就会给黑用户可乘之机，恶意占编不付款，而后以更高价格转售或以其他途径进行牟利。航司爸爸发现后就会对平台进行封号、警告、罚款。平台弱小，可怜，无助…