1.贝叶斯定理的数学表达
贝叶斯方法依据贝叶斯定理。关于贝叶斯定理解释如下:首先我们设定在事件B条件下,发生事件A的条件概率,即
,从数学公式上,此条件概率等于事件A与事件B同时发生的概率除以事件B发生的概率。
上述公式可以进行变换,得到事件A与事件B同时发生的概率,这一概率既等于“事件B发生的概率”乘以“事件B条件下,发生事件A的条件概率”,也等于“事件A发生的概率”乘以“事件A条件下,发生事件B的条件概率”,或者说,A与B的角色可以互换。
也就是说:
这一公式即为贝叶斯定理。单纯从数学推导上看,相对并不复杂,或者说只是把常识用数学公式表达了出来。下面我们结合上一节中提到的先验概率、后验概率等概念,赋予公式的各个组成部分以具体含义:
即有:
2.贝叶斯定理在员工异常行为管理方面的应用
下面以一个员工异常行为管理的案例说明其神奇。假设一家商业银行基于历史数据统计(案件、监管处罚、内外部审计、诚信举报、离职核查等各种渠道)发现其员工异常行为发生率为0.005,其搭建的“非现场监测模型系统+人工复核”员工行为管理体系的检查准确率为0.99。
P(A):先验概率,员工异常行为发生率为0.005;
1-P(A):员工异常行为未发生率等于0.995;
P(B|A):可能性,员工存在异常行为且被检查发现的概率为0.99;
P(B):证据,通过全概率公式计算得到
后验概率:
也就是说,虽然该银行员工行为管理体系的检查准确率高达0.99,但令人遗憾的事实却是,如果某员工被该体系判定存在员工异常行为,但是其确实存在异常行为的概率只有不到三分之一(0.332215),被误判的可能性超过了三分之二。
但这并不意味着员工异常行为管理体系的彻底失效,如果让该员工再次接受体系检查,那么上次的后验概率就成为了新的检查的先验概率,即用0.332215代替了0.005,如果员工仍然被该体系判定存在员工异常行为,那么后验概率将变成:
也就是说,该员工被该体系前后两次判定存在员工异常行为,并且其确实存在异常行为的概率达到了98%以上,被误判的可能性已经很小了。按照同样的逻辑,如果该员工被该体系前后三次或更多判定为存在员工异常行为,那么其被误判的可能性会继续下降,逐渐接近于0。
这一原理也提示我们,在进行员工异常行为排查时,一是在界定员工异常行为方面,为最大程度保护奋斗者干事创业的热情,不应该以一次发现而下定论,因为被“误判”的可能性较大,即使相应的监测模型已经非常成熟和完善(例子中达到了99%以上);二是应该高度重视前后多次排查存在异常行为的员工,这部分员工被“误判”的可能性较低,应该及时采取果断措施,防止引发案件风险。
上述内容节选自《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社)。
3.针对Python数据分析或机器学习推荐两本入门级的图书
针对Python数据分析或机器学习推荐两本入门级的图书:《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社)《Python数据科学应用从入门到精通》(张甜 杨维忠 著 2023年11月新书 清华大学出版社)。这两本书的特色是在数据分析、机器学习各种算法的介绍方面通俗易懂,较少涉及数学推导,对数学基础要求相对不高,在python代码方面讲的很细致,看了以后根据自身需要选取算法、优化代码、科学调参。都有配套免费提供的源代码、数据文件和视频讲解,也有PPT、思维导图、习题等。
为什么说这两本书值得?首先说《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社),内容非常详实,包含了Python和机器学习,相当于一次获得了两本书。在讲解各类机器学习算法时,逐一详解用到的各种Python代码,针对每行代码均有恰当注释(这一点基本上是大多数书目做不到的)。恒丰银行总行副行长郑现中,山东大学经济学院教学实验中心主任 副教授 韩振,德勤华永会计师事务所 华文伟 合伙人,首创证券深圳分公司机构业务部 樊磊 总经理 中国准精算师,山东省农村信用社联合社数据管理项目组 郝路安 总监等一众大牛联袂推荐。这本书在出版之前曾开发成9次系列课程,在恒丰银行全行范围类开展培训,490人跟随杨维忠老师上课学习(课程限报490人),培训完成后课程在知鸟平台上回放超过3万人次。很多银行员工通过这些学习一下子就学会了Python,并且用于工作中开展数据分析、机器学习、数据可视化等,这本书也被多家商业银行选做数字化人才培训教材,成为银行员工的一本网红书。
《Python数据科学应用从入门到精通》一书,旨在教会读者实现全流程的数据分析,并且相对《Python机器学习原理与算法实现》一书增加了很多概念性、科普性的内容,进一步降低了学习难度。国务院发展研究中心创新发展研究部第二研究室主任杨超 ,山东大学经济学院金融系党支部书记、副主任、副教授、硕士生导师张博,山东管理学院信息工程学院院长 袁锋 教授、硕士生导师,山东大学经济学院刘一鸣副研究员、硕士生导师,得厚投资合伙人张伟民等一众大牛联袂推荐。书中全是干活,买这一本书相当于一下子得到了5本书(Python基础、数据清洗、特征工程、数据可视化、数据挖掘与建模),而且入门超级简单,不需要编程基础,也不需要过多数学推导,非常适用于零基础学生。全书内容共分13章。其中第1章为数据科学应用概述,第2章讲解Python的入门基础知识,第3章讲解数据清洗。第4~6章介绍特征工程,包括特征选择、特征处理、特征提取。第7章介绍数据可视化。第8~13章介绍6种数据挖掘与建模方法,分别为线性回归、Logistic回归、决策树、随机森林、神经网络、RFM分析。从数据科学应用和Python的入门,再到数据清洗与特征工程,最终完成数据挖掘与建模或数据可视化,从而可以为读者提供“从拿到数据开始,一直到构建形成最终模型或可视化报告成果”的一站式、全流程指导。
两本书随书赠送的学习资料也很多,包括全部的源代码、PPT、思维导图,还有10小时以上的讲解视频,每一章后面还有练习题及参考答案,还有学习群,相对于只看网络上的视频,一方面更加系统、高效,另一方面照着书一步步操作学起来也事半功倍。全网热销中,当当、京东等平台搜索“Python机器学习 杨维忠”“Python数据科学 杨维忠”即可。
《Python机器学习原理与算法实现》(杨维忠、张甜著,2023年2月,清华大学出版社),适用于学习Python/机器学习
《Python数据科学应用从入门到精通》(张甜 杨维忠 著 2023年11月新书 清华大学出版社)适用于学习数据分析、数据科学、数据可视化等。
创作不易,恳请多多点赞,感谢您的支持!也期待大家多多关注我,让我共同学习数据分析知识。