《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第4章 朴素贝叶斯法

文章目录

  • 第4章 朴素贝叶斯法
    • 4.1 朴素贝叶斯法的学习与分类
      • 4.1.1 基本方法
      • 4.1.2 后验概率最大化的含义
    • 4.2 朴素贝叶斯法的参数估计
      • 4.2.1 极大似然估计
      • 4.2.2 学习与 算法
      • 4.2.3 贝叶斯估计
    • 代码实践
      • GaussianNB 高斯朴素贝叶斯
      • scikit-learn实例
      • scikit-learn:伯努利模型和多项式模型

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第3章 k邻近邻法
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第3章 k邻近邻法

我算是有点基础的(有过深度学习和机器学的项目经验),但也是半路出家,无论是学Python还是深度学习,都是从问题出发,边查边做,没有系统的学过相关的知识,这样的好处是入门快(如果想快速入门,大家也可以试试,直接上手项目,从小项目开始),但也存在一个严重的问题就是,很多东西一知半解,容易走进死胡同出不来(感觉有点像陷入局部最优解,找不到出路),所以打算系统的学习几本口碑比较不错的书籍。
  书籍选择: 当然,机器学习相关的书籍有很多,很多英文版的神书,据说读英文版的书会更好,奈何英文不太好,比较难啃。国内也有很多书,周志华老师的“西瓜书”我也有了解过,看了前几章,个人感觉他肯能对初学者更友好一点,讲述的非常清楚,有很多描述性的内容。对比下来,更喜欢《统计学习方法》,毕竟能坚持看完才最重要。
  笔记内容: 笔记内容尽量省去了公式推导的部分,一方面latex编辑太费时间了,另一方面,我觉得公式一定要自己推到一边才有用(最好是手写)。尽量保留所有标题,但内容会有删减,通过标黑和列表的形式突出重点内容,要特意说一下,标灰的部分大家最好读一下(这部分是我觉得比较繁琐,但又不想删掉的部分)。
  代码实现: 最后是本章内容的实践,如果想要对应的.ipynb文件,可以留言

第4章 朴素贝叶斯法

  朴素贝叶斯(naïve Bayes)法是基于贝叶斯定理特征条件独立假设的分类方法[1]。

  对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

  • 输入空间: x ⊆ R n x⊆R^n xRnn维向量的集合
  • 输出空间:类标记集合 Y = ( c 1 , c 2 , … , c K ) Y=({c_1,c_2,…,c_K}) Y(c1c2,,cK)
  • 输入为特征向量 x ∈ X x\in X xX
  • 输出为类标记(class label) y ∈ Y y \in Y yY

  X是定义在输入空间 X X X上的随机向量,Y是定义在输出空间 Y Y Y上的随机变量。 P ( X , Y ) P(X,Y) P(X,Y)是X和Y的联合概率分布。训练数据集

T = ( ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . . , ( x N , y N ) ) T=((x_1,y_1),(x_2,y_2)....,(x_N,y_N)) T=((x1,y1),(x2,y2)....,(xN,yN))

  由 P ( X , Y ) P(X,Y) P(X,Y)独立同分布产生。

  朴素贝叶斯法通过训练数据集学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)

先验概率分布和条件概率分布

  具体地,学习以下先验概率分布条件概率分布

  • 先验概率分布: P ( Y = c k ) , k = 1 , 2 … K P(Y=c_k),k=1,2…K P(Y=ck)k=1,2K
  • 条件概率分布: P ( X = x ∣ Y = c k ) = P ( X ( 1 ) = x ( 1 ) , . . . . X ( n ) = x ( n ) ∣ Y = c k ) , k = 1 , 2 , . . . K P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},....X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...K P(X=xY=ck)=P(X(1)=x(1),....X(n)=x(n)Y=ck),k=1,2,...K

  条件概率分布 P ( X = x ∣ Y = c k ) P(X=x|Y=c_k) P(XxYck)指数级数量的参数,其估计实际是不可行的。

  朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设,朴素贝叶斯法也由此得名。

朴素贝叶斯法的基本假设:条件独立性假设

P ( X = x ∣ Y = c k ) = P ( X ( 1 )

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/649106.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网安渗透攻击作业(1)

实现负载均衡 第一步:安装依赖 sudo apt insta11 libgd-dev 第二步:下载nginx wget http://nginx.org/download/nginx-1.22.1.tar.gz 第三步:对nginx进行解压 tar -zvxf nginx-1.22.1.tar.g2 第四步:编译安装nginx cd ngi…

通达信动量振荡指标公式(AO),反映市场驱动力的变化

动量振荡指标AO(Awesome Oscillator)衡量的是最近5根K线的动量与过去34根K线的动量对比,反映市场驱动力的变化。 一、动量振荡指标公式(副图) 动量振荡指标AO计算公式: 1、计算中间价,将最高价和最低价的和除以2&…

浅析HTTP协议

首先,前端请求后端数据,后端响应数据给前端,这是我们大家都知道的,那其中所涉及到的数据传输协议又是什么呢?这个传输规范就是我们大名鼎鼎的HTTP协议! 什么是HTTP协议? HTTP(超文本…

SqlAlchemy使用教程(六) -- ORM 表间关系的定义与CRUD操作

SqlAlchemy使用教程(一) 原理与环境搭建SqlAlchemy使用教程(二) 入门示例及编程步骤SqlAlchemy使用教程(三) CoreAPI访问与操作数据库详解SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用SqlAlchemy使用教程(五) ORM API 编程入门 本章内容,稍微有…

Java链表(1)

🐵本篇文章将对单链表进行讲解,模拟实现单链表中常见的方法 一、什么是链表 链表是一种逻辑结构上连续而物理结构上不一定连续的线性表,链表由一个一个节点组成: 每一个节点中都由数据域(val)和指针域&…

实战EDA电子设计自动化经典入门模型VHDL代码编写(含代码解释)上篇--状态机,逻辑设计:Y=AB+C

前言 电子设计自动化(EDA): 定义:EDA是用于设计和开发复杂的电子系统(如集成电路)和印刷电路板的软件工具集合。这些工具通常用于设计电路、进行仿真测试、分析电路行为以及协助制造过程。应用:…

机器人学论文——智能施药机器人调研报告

目录 摘 要 Abstract 第一章:引言 1.1研究背景 1.2 研究意义 1.3文章架构 第二章:智能施药机器人发展现状 2.1引言 2.2 大田智能施药机器人发展现状 2.3 果园智能施药机器人发展现状 2.4 设施农业智能施药机器人发展现状 第三章:智能施药机器…

【知识---Linux 有哪些版本】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言Ubuntu:Debian:Fedora:CentOS:openSUSE:Arch Linux:Gentoo:Slackware&#x…

docker指令存档

目录 Docker 1、概念 2、架构图 3、安装 4、Docker怎么工作的? 5、Docker常用命令 帮助命令 镜像命令 1、查看镜像 2、帮助命令 3、搜索镜像 4、拉取镜像 5、删除镜像 容器命令 1、启动 2、查看运行的容器 3、删除容器 4、启动&停止 其他命令…

LeetCode 刷题总结 【未完待续】

双指针 快慢指针 27. 移除元素 26. 删除有序数组中的重复项左右指针 排序 快速排序 位运算 2859. 计算 K 置位下标对应元素的和

大数据数据流分析和处理的工具pig,从入门到精通!

介绍:Pig是一种数据流语言和运行环境,用于处理和分析大数据。 Pig由两个主要部分构成: Pig Latin语言:这是一种用于描述数据流的高级语言,它允许用户以较为简洁的方式编写数据处理和转换任务。 Pig执行环境&#xff1a…

【Vue3】状态管理工具——pinia的使用

目录 搭建pinia环境 存储数据 组件中使用数据 修改数据 storeToRefs $subscribe pinia相当于vue2中的vuex,pinia也是vue.js状态管理库。 搭建pinia环境 下载 npm install pinia 创建 src/main.js import { createApp } from vue import App from ./App.…

C++ 模拟实现mapset

目录 一、改造红黑树 1、模板T改造节点 2、提取节点中的key 3、迭代器类 operator operator-- 4、改造insert 5、红黑树迭代器 6、 普通迭代器构造const迭代器 二、set 三、map 在stl中map和set的结构中,他们都使用一个红黑树进行封装。 由上图可知&a…

go-zero 全局异常处理-全局中间件

1、在主入口新增 package mainimport ("flag""fmt""go/application/internal/config""go/application/internal/handler""go/application/internal/middleware""go/application/internal/svc"manage "go/pk…

Java 枚举和注解

一、枚举类 把具体的对象一个一个例举出来的类就称为枚举类 枚举对应英文(enumeration, 简写 enum)枚举是一组常量的集合。可以这里理解:枚举属于一种特殊的类,里面只包含一组有限的特定的对象。 1.实现方式1——自定义类实现枚举 public class Enume…

Oracal学习

Oracle是什么 是甲骨文公司的一款支持事务且吞吐量高的数据库特点: (1)支持多用户、大事务量的事务处理 (2)数据安全性和完整性控制 (3)支持分布式数据处理 (4)可移植性…

【C++】C++入门基础讲解(一)

💗个人主页💗 ⭐个人专栏——C学习⭐ 💫点击关注🤩一起学习C语言💯💫 导读 经过一段时间的C语言学习,我们以及基本掌握了C语言的知识,今天,我们就开始学习C,…

2024最新幻兽帕鲁服务器多少钱一个?

幻兽帕鲁服务器多少钱?价格便宜,阿里云4核16G幻兽帕鲁专属服务器32元1个月、66元3个月,4核32G配置113元1个月、339元3个月;腾讯云4核16G14M服务器66元1个月、277元3个月、1584元一年。阿腾云atengyun.com分享阿里云和腾讯云palwor…

Libcurl的编译

什么是curl curl是常用来请求web服务器的工具,名字意思是客户端(Client)的URL工具。支持HTTP、HTTPS、rtsp等协议。 curl的作用 在我们的项目中curl主要用在两方面: 云升级,将云服务器上的软件包使用curl的API将软件…

数据结构-队列

文章目录 队列队列概述顺序队结构体顺序队基本操作初始化队列判断队空入队操作出队操作 循环队列结构体循环队列基本操作初始化队列判断队空入队操作出队操作 链队结构体链队的基本操作初始化队列判断队空入队操作出队操作 队列的应用循环队列双端都可插入删除循环链表表示队列…