深入理解贝叶斯分类与朴素贝叶斯模型(Naive Bayes, NB):从基础到实战

目录

贝叶斯分类

公式

决策规则

优点

贝叶斯分类器的例子——垃圾邮件问题

1. 特征(输入):

2. 类别:

3. 数据:

4. 模型训练:

注:类别先验概率

5. 模型预测:

朴素贝叶斯模型

模型定位&模型假设

模型算法

例子

sklearn朴素贝叶斯代码实现


贝叶斯分类

公式

在贝叶斯分类中,我们关注的是样本属于某个类别的概率。设x是输入特征向量,C_k是类别。根据贝叶斯公式,我们可以计算后验概率 P(C_k|x)

P(C_k|x) = \frac{P(x|C_k)P(C_k)}{P(x)}

其中,

  • P(C_k|x)是在给定输入 x 的条件下,属于类别C_k的概率。
  • P(x|C_k)是在给定类别C_k的条件下,输入 x 的概率(类别条件概率)。
  • P(C_k)是类别 C_k的先验概率。
  • P(x)是输入x的概率。

决策规则

选择具有最高后验概率P(C_k|x)的类别作为最终的分类结果。

优点

贝叶斯分类器的优点之一是它对小样本数据具有较好的鲁棒性,而且能够自然地处理多类别问题。然而,它的性能可能会受到输入特征之间的独立性假设的影响。在实际应用中,朴素贝叶斯分类器(Naive Bayes Classifier)是一种常见的贝叶斯分类器,其中假设特征之间是相互独立的。

贝叶斯分类器的例子——垃圾邮件问题

我反正看了上面那些个公式,不慎理解,虽然是数学专业的但是对于类别分布仍然有一些迷茫,所以这里举一个例子

假设我们要使用朴素贝叶斯分类器来判断一封电子邮件是否为垃圾邮件(Spam)或非垃圾邮件(Ham),我们可以使用以下特征:

1. 特征(输入):

  • x_1​: 邮件中包含词语 "money" 的概率。
  • x_2​: 邮件中包含词语 "free" 的概率。
  • x_3​: 邮件中包含词语 "meeting" 的概率。

2. 类别:

  • C_1​: 垃圾邮件(Spam)。
  • C_2​: 非垃圾邮件(Ham)。

3. 数据:

我们有一个已标记的训练数据集,其中包含一些垃圾邮件和非垃圾邮件。对于每封邮件,我们统计了x_1,x_2,x_3的取值。

4. 模型训练:

于每个类别C_k,我们计算先验概率 P(C_k)。对于每个特征x_i和类别C_k,我们计算类别条件概率 P(x_i|C_k)(这里的计算后面在朴素贝叶斯那里有详细说明)。

注:类别先验概率

类别的先验概率是指在没有任何观测数据的情况下,我们对每个类别的初始信念或概率。这个先验概率表示我们在了解任何具体数据之前对各个类别的预期信念。

数学上,假设有K个类别,类别的先验概率表示为P(C_k),其中k = 1,2,3,...,K

在实际问题中,我们可以通过观察训练数据集中每个类别的样本数量,来估计先验概率。具体而言,如果训练数据中类别C_k出现的次数为N_k,总样本数为 N,那么类别C_k的先验概率 P(C_k)可以估计为:

P(C_k) = \frac{N_k}{N}

在训练模型时,这些先验概率是模型的一部分,用于计算后验概率。在实际应用中,如果没有特定的先验知识,有时候也会使用均匀先验,即假设每个类别的先验概率相等。这意味着P(C_k)对于每个k都相等。

5. 模型预测:

对于一封新的邮件,我们计算它属于每个类别的后验概率P(C_k|x)。选择具有最高后验概率的类别作为最终的分类结果。

在朴素贝叶斯分类器中,特征之间的独立性假设是一个简化,但在实际应用中,该方法在垃圾邮件过滤等任务上表现良好。

朴素贝叶斯模型

模型定位&模型假设

贝叶斯模型属于生成式模型,它对样本的观测值和类别状态的联合分布p( \boldsymbol{x},y)进行建模。在实际应用中,联合分布转换成为类别的先验分布p(y)与类条件分布p( \boldsymbol{x}|y)乘积的形式:

p( \boldsymbol{x},y)=p(y)p( \boldsymbol{x}|y)

前者可以分别使用伯努利分布(二分类)和类别分布(多分类)建模先验概率,但是类条件分布p( \boldsymbol{x}|y)的估计一直是贝叶斯模型的难题。

注:在贝叶斯分类中,朴素贝叶斯模型通常涉及到计算后验概率,其中分母是用于归一化的。在实际计算中,我们通常只关注后验概率的相对大小,因此并不需要计算完整的分母。这种做法被称为"朴素",因为它简化了计算,假设特征之间是独立的,从而避免了计算联合概率分布的复杂性。

在文本分类任务中为例解决类条件分布p( \boldsymbol{x}|y)的估计的难题,需要对文本的类条件分布做进一步简化。一种通常的做法是忽略文本中的词序关系,假设各个特征词的位置都是可以互换的,即词袋模型(Bag Of Word,BOW)。基于这一假设类条件分布可以用多项式分布刻画。基于以上条件的贝叶斯模型,称为朴素贝叶斯模型(naive Bayes, NB),它的本质用混合的多项式分布刻画文本分布

朴素贝叶斯模型是一种简化的贝叶斯分类器,对观测向量\boldsymbol{x}和类别y的联合分布

p(x,y) = p(y)p(x|y)

进行建模。通常假设类别变量y(类别先验概率)服从伯努利分布(0-1分布)或分类分布(多分类问题),并根据实际任务对p(\boldsymbol{x}|y)(类别条件概率)进行合理假设。在图像分类任务中,常常将p(\boldsymbol{x}|y)假设为服从高斯分布,而在文本分类中任务中,p(\boldsymbol{x}|y)常见的分布假设有两种:多项分布模型和多变量伯努利分布模型。其中多变量伯努利分布假设只关心特征项是否出现,而不记录出现的频次,在实际应用中效果不及多项分布假设。因此,在文本分类任务中,不加特别说明的朴素贝叶斯模型往往都是基于多项式分布假设的朴素贝叶斯模型。

模型算法

首先将一个文档x表示为一个词的序列

x=[w_1,w_2,...,w_{|\boldsymbol{x}|}]

在条件独立性假设下,p(\boldsymbol{x}|y)可以具有多项分布的形式:

p(\boldsymbol{x}|c_j)=p([w_1,w_2,...,w_{|\boldsymbol{x}|}]|c_j)=\prod _{i=1}^Vp(t_i|c_j)^{N(t_i,\boldsymbol{x})}

其中,V是词汇表维度,t_i表示词汇表中的第i个特征项。令\theta_{i|j}=p(t_i|c_j)表示在c_j类条件下t_i出现的概率,N(t_i,\boldsymbol{x})表示在文档\boldsymbol{x}t_i的词频。

同时,我们以多分类问题为例,假设类别y服从类别分布:

p(y=c_j) = \pi_j

根据多项式分布模型假设,p(\boldsymbol{x},y)的联合分布为

p(\boldsymbol{x},y=c_j) = p(c_j)p(\boldsymbol{x}|c_j)=\pi_j\prod _{i=1}^V\theta_{i|j}^{N(t_i,\boldsymbol{x})}

其中\boldsymbol{x},\theta均为模型参数。

朴素贝叶斯模型基于最大似然估计算法进行参数学习,给定训练集\{x_k,y_k\}_{k=1}^N,模型以对数似然函数L(\pi,\theta)=log\prod_{k=1}^Np(x_k,y_k)作为优化目标。对优化目标求导置零,求解得到模型的参数估计值为:

\pi_j=\frac{\sum_{k=1}^NI(y_k=c_j)}{\sum_{k=1}^N\sum{j'=1}^CI(y_k=c_{j'})}=\frac{N_j}{N}

\theta_{i|j}=\frac{\sum_{k=1}^NI(y_k=c_j)N(t_j,x_k)}{\sum_{k=1}^NI(y_k=c_j)\sum_{i'=1}^VN(t_{i'},x_k)}

从参数估计的结果例可以看出,在多项式分布假设下,频率正是概率的最大似然估计值,例如,类别概率\pi_i的最大似然估计结果是训练集中第j类样本出现的频率;类条件下特征想概率的最大似然估计结果是第j类文档中所有特征项中t_i出现频率。为了防止零概率的出现,常常对\theta_{i|j}进行拉普拉斯平滑:

\theta_{i|j}=\frac{\sum_{k=1}^NI(y_k=c_j)N(t_j,x_k)+1}{\sum_{k=1}^NI(y_k=c_j)\sum_{i'=1}^VN(t_{i'},x_k)+V}

例子

利用朴素贝叶斯模型,在降维后的文本分类训练集(表5.7)上进行模型学习,分别令t_1=计算机,t2 = 排球,t3 = 运动会,t4 = 高校,t5 = 大学,y = 1表示教育类,y = 0表示体育类,可以得到如下参数估计结果。

\pi_jp(y=1)=0.5p(y=0)=0.5
\theta_{i|j}\theta_{1|1}=p(t_1|c_1)=\frac{2+1+0+0+1}{3+0+0+1+2+5}=\frac{4}{11}p(t_1|y=0)=1/10
p(t_2|y=1)=\frac{1}{11}p(t_2|y=0)=3/10
p(t_3|y=1)=\frac{1}{11}p(t_3|y=0)=3/10
p(t_4|y=1)=\frac{2}{11}p(t_4|y=0)=1/10
p(t_5|y=1)=\frac{3}{11}p(t_5|y=0)=2/10

基于上述模型参数,对test_d1的文本表示为x_1,它与教育类和体育类的联合概率分别为

p(x_1,y=1)=p(y=1)p(t_5|y=1)^2=0.037

p(x_1,y=0)=p(y=0)p(t_5|y=0)^2=0.020

根据贝叶斯分布可得属于两类的后验概率分布为:

p(y=1|x_1) = 0.649

p(y=0|x_1)=0.351

所以可以预测test\_d_1属于教育类。

同理可以计算得test\_d_2属于体育类。

sklearn朴素贝叶斯代码实现

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report# 示例数据(文本和对应的标签)
corpus = [("This is a positive statement", "positive"),("I feel great", "positive"),("This is a negative statement", "negative"),("I don't like this", "negative"),("I feel awful", "negative")
]# 将数据分为训练集和测试集
texts, labels = zip(*corpus)
X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42)# 将文本转换为词频向量
vectorizer = CountVectorizer()
X_train_vectorized = vectorizer.fit_transform(X_train)
X_test_vectorized = vectorizer.transform(X_test)# 训练朴素贝叶斯模型
nb_classifier = MultinomialNB()
nb_classifier.fit(X_train_vectorized, y_train)# 在测试集上进行预测
y_pred = nb_classifier.predict(X_test_vectorized)# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")# 打印分类报告
print("\nClassification Report:")
print(classification_report(y_test, y_pred))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191673.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c++ int* 和 *ptr(取对应变量值)

int n 10; int* ptr; // 声明 一个名为ptr的内存 用来保存传入的变量内存地址 ptr &n; // 给已经什么的内存ptr 赋n变量的内存地址值*ptr 20; // 获取名为ptr的内存保存的变量内存地址对应的变量值,然后赋值20int* 表示 ptr 是一个指针变量 开一个ptr名字的内存,用来保存…

【开题报告】基于深度学习的驾驶员危险行为检测系统

研究的目的、意义及国内外发展概况 研究的目的、意义:我国每年的交通事故绝对数量是一个十分巨大的数字,造成了巨大的死亡人数和经济损失。而造成交通事故的一个很重要原因就是驾驶员的各种危险驾驶操作行为。如果道路驾驶员的驾驶行为能够得到有效识别…

【大数据】区分 hdfs dfs -ls 与 hdfs dfs -ls /

😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 &#x…

并行和并发的区别

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 1、并发2、并行3、异同点 1、并发 当有多个线程在操作时,如果系统只有一个CPU,则它根本不可能真正同时进行一个以上的线程,它只能把CPU运行时间划分成若…

基于SpringBoot的企业客户管理系统的设计与实现

摘 要 本论文主要论述了如何使用JAVA语言开发一个企业客户管理系统,本系统将严格按照软件开发流程进行各个阶段的工作,采用B/S架构,面向对象编程思想进行项目开发。在引言中,作者将论述企业客户管理系统的当前背景以及系统开发的目…

npm ERR! notarget No matching version found for @eslint/eslintrc@^2.1.4.

文章目录 Intro解决流程总结前置信息了解npm 镜像源三个要用到的npm命令 官方源确认查看当前镜像源的详情解决: 切换镜像源后重试重新操作 事后感受 Intro 事由是今天我在用 create-react-app 新建一个用于测试的前端项目。 然后就出现以下报错: wuyuj…

【LeetCode热题100】【双指针】移动零

给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。 请注意 ,必须在不复制数组的情况下原地对数组进行操作。 示例 1: 输入: nums [0,1,0,3,12] 输出: [1,3,12,0,0] 示例 2: 输入: nums [0] 输出…

8.C转python

1.在文件查找中,文件夹才是目录 2.使用pip: python搞了一个网站pypi,把各种的第三方库给收集起来了 使用pip工具就可以直接从pypi里下载你想要的第三方库了 可以直接使用pip工具搜 安装完成后,即可使用import导入相关模块即可进行使用 往后运用pip中的第三方库应该都是在…

什么样的SSL证书比较好?

首先需要明确的是最适合自己的就是最好的SSL证书。目前市场上的证书种类很多,那怎么才能挑选出最适合自己的呢?我罗列了几个需要考虑的方面。 1.证书类型:根据您的需求选择合适的证书类型。例如,如果您需要验证公司信息&#xff0…

ios 长传发布审核+safari浏览器,直接安装ipa文件

蒲公英二维码方法 个人开发者账号发布证书AD-hoc 描述文件蒲公英上传链接通过苹果safari 浏览器下载IPA包 浏览器下载方法 前置条件 1.下载 ipa 包的设备的 uuid 已加入 苹果测试设备列表如何添加到测试列表 2.web 服务, 文件服务. 3.需要AD-hoc 描述文件 添加链接描述 1.创…

python常用函数

1.len函数求字符串长度 例如 2.input函数为输入 input里边可以是任意类型的数据 但是它返回的值是一个字符串(即现在只能做出打印那些操作) 想做出其他操作的话,要强制类型转换 例,用str转换为字符串(类似的还有float),字符串可以互相拼接 所以要记得用了input函数后要强制…

UNITY 超快速 在UNITY画网格GRID

首先,下载一个shapes插件! 为shapes插件的立刻绘画模式创建一个脚本 using Shapes; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Rendering;namespace XXX {[ExecuteAlways]public class Draw…

kali学习

目录 黑客法则: 一:页面使用基础 二:msf和Windows永恒之蓝漏洞 kali最强渗透工具——metasploit 介绍 使用永恒之蓝进行攻击 ​编辑 使用kali渗透工具生成远程控制木马 渗透测试——信息收集 域名信息收集 黑客法则: 一&…

Dash 协议介绍

<?xml version"1.0" encoding"utf-8"?> <MPD xmlns"urn:mpeg:dash:schema:mpd:2011" minBufferTime"PT1.5S" type"static" mediaPresentationDuration"PT0H1M0.3S" maxSegmentDuration"PT0H0M2.0…

N-135基于springboot,vue高校图书馆管理系统

开发工具&#xff1a;IDEA 服务器&#xff1a;Tomcat9.0&#xff0c; jdk1.8 项目构建&#xff1a;maven 数据库&#xff1a;mysql5.7 系统分前后台&#xff0c;项目采用前后端分离 前端技术&#xff1a;vueelementUI 服务端技术&#xff1a;springbootmybatisredis 本项…

抖音直播招聘报白的介绍和案例

抖音直播招聘报白是指企业人力资源公司在抖音进行直播招聘时&#xff0c;需要向抖音平台提供审核申请。通过报白&#xff0c;企业或人力资源公司可以更好的获取招聘渠道和更多曝光的机会&#xff0c;同时可以提升品牌形象和知名度。报白的对象针对需要企业自招的企业和人力资源…

C++EasyX之跟随鼠标移动的小球

视频链接 跟随鼠标移动的小球 用EasyX和C实现跟随鼠标移动的小球 #include<graphics.h> #include<iostream>int main() {initgraph(1280, 720);int x 0;int y 0;BeginBatchDraw();//新建缓冲区while (true){ExMessage msg;while (peekmessage(&msg)){//信…

熬夜会秃头——beta冲刺Day7

这个作业属于哪个课程2301-计算机学院-软件工程社区-CSDN社区云这个作业要求在哪里团队作业—beta冲刺事后诸葛亮-CSDN社区这个作业的目标记录beta冲刺Day7团队名称熬夜会秃头团队置顶集合随笔链接熬夜会秃头——Beta冲刺置顶随笔-CSDN社区 一、团队成员会议总结 1、成员工作…

抓包 Hook 工具Objection

Objection简介 Objection 是一个基于 Frida 开发的命令行工具&#xff0c;它可以很方便的 Hook Java 函数和类&#xff0c;并输出参数&#xff0c;调用栈&#xff0c;返回值。支持Hook Android和IOS 因为 Objection 是基于 Frida 的所以必须先安装 Frida 然后才能安装 Objecti…

torch rnn网络中,embedding.weight会反向更新吗?

结论&#xff1a;在PyTorch中&#xff0c;如果在训练中使用了embedding层&#xff0c;那么embedding.weight会被反向更新。 这是因为在训练过程中&#xff0c;模型的参数会根据损失函数的反向传播进行更新&#xff0c;而embedding层的参数embedding.weight也是模型的一部分&am…