统计学习模型相关知识简记

一、概念

1、定义

在监督学习过程中, 模型就是所要学习的条件概率分布或决策函数。

2、假设空间

模型的假设空间(hypothesis space)包含所有可能的条件概率分布或决策函数。

假设空间中的模型一般有无穷多个。

3、假设空间与决策函数

假设空间用F表示。 假设空间可以定义为决策函数的集合,通常是由一个参数向量决定的函数族

4、假设空间与条件概率

假设空间也可以定义为条件概率的集合,这时F通常是由一个参数向量决定的条件概率分布族

5、模型划分

简便起见,有时称由决策函数表示的模型为非概率模型, 由条件概率表示的模型为概率模型。

二、概率模型与非概率模型

1、概率模型和非概率模型

统计学习的模型可以分为概率模型(probabilistic model)和非概率模型(non-probabilistic model)或者确定性模型(deterministic model)

2、示例

决策树、 朴素贝叶斯、 隐马尔可夫模型、 条件随机场、 概率潜在语义分析、 潜在狄利克雷分配、 高斯混合模型是概率模型。

感知机、 支持向量机、 k近邻、 AdaBoost. k均值、 潜在语义分析, 以及神经网络是非概率模型。

逻辑斯谛回归既可看作是概率模型, 又可看作是非概率模型。

3、形式

在监督学习中, 概率模型取条件概率分布形式P(y|x),非概率模型取函数形式y = f(x),其中x是输入, y是输出。

在无监督学习中, 概率模型取条件概率分布形式P(z|x)或P(x|z),非概率模型取函数形式z = g(x),其中x是输入, z是输出。

4、生成模型与判别模型

在监督学习中, 概率模型是生成模型, 非概率模型是判别模型。

概率模型表示了给定输入x产生输出y的生成关系,所以称为生成模型。

判别模型关心的是对给定的输入X,应该预测什么样的输出Y。

5、关联与转化

条件概率分布P(y|x)和函数g = f(x)可以相互转化(条件概率分布P(z|x)和函数z = g(x)同样可以)。

具体地, 条件概率分布最大化后得到函数, 函数归一化后得到条件概率分布。

所以, 概率模型和非概率模型的区别不在于输入与输出之间的映射关系, 而在于模型的内在结构。

概率模型一定可以表示为联合概率分布的形式, 其中的变量表示输入、 输出、 隐变量甚至参数。

而针对非概率模型则不一定存在这样的联合概率分布。

6、概率图模型

概率模型的代表是概率图模型(probabilistic graphical model),概率图模型是联合概率分布由有向图或者无向图表示的概率模型, 而联合概率分布可以根据图的结构分解为因子乘积的形式。

贝叶斯网络、 马尔可夫随机场、 条件随机场是概率图模型。

三、线性模型与非线性模型

统计学习模型, 特别是非概率模型, 可以分为线性模型(linear model)和非线性模型(non-linear model)

1、定义

如果函数y = f(x)或z = g(x)是线性函数, 则称模型是线性模型, 否则称模型是非线性模型。

2、示例

感知机、 线性支持向量机、 k近邻、 k均值、 潜在语义分析是线性模型。

核函数支持向量机、 AdaBoost、神经网络是非线性模型

深度学习(deep learning)是复杂神经网络的学习, 也是复杂的非线性模型的学习

3、参数化与非参数化

统计学习模型又可以分为参数化模型(parametric model)和非参数化模型(nonparametric model)

参数化模型假设模型参数的维度固定, 模型可以由有限维参数完全刻画;

非参数化模型假设模型参数的维度不固定或者说无穷大, 随着训练数据量的增加而不断增大

4、示例

感知机、 朴素贝叶斯、 逻辑斯谛回归、 k均值、 高斯混合模型是参数化模型。

决策树、 支持向量机、 AdaBoost、k近邻、 潜在语义分析、 概率潜在语义分析、潜在狄利克雷分配是非参数化模型

5、特点

参数化模型适合问题简单的情况,

现实中问题往往比较复杂, 非参数化模型更加有效

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/60107.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android:taskAffinity 对Activity退出时跳转的影响

android:taskAffinity 对Activity跳转的影响 概述taskAffinity 的工作机制taskAffinity对 Activity 跳转的影响一个实际的开发问题总结参考 概述 在 Android 开发中,任务栈(Task)是一个核心概念。它决定了应用程序的 Activity 如何相互交互以…

React——useCallback

一、定义: useCallback是一个允许你在多次渲染中缓存函数的 React Hook。它返回一个记忆化的回调函数,只有在依赖项改变时才会更新。这有助于避免在每次渲染时都创建新的函数实例,特别是在将回调函数传递给子组件时。 二、形式:…

Ubuntu常见命令

关于export LD_LIBRARY_PATHcmake默认地址CMakelists.txt知识扩充/home:挂载新磁盘到 /home 子目录 关于export LD_LIBRARY_PATH 程序运行时默认的依赖库的位置包括lib, /usr/lib ,/usr/local/lib 通过命令export LD_LIBRARY_PATHdesired_path:$LD_LIBRARY_PATH追加…

时间类的实现

在现实生活中,我们常常需要计算某一天的前/后xx天是哪一天,算起来十分麻烦,为此我们不妨写一个程序,来减少我们的思考时间。 1.基本实现过程 为了实现时间类,我们需要将代码写在3个文件中,以增强可读性&a…

Java API 进阶指南:从核心API到高级应用的全面提升

文章目录 Java API 进阶学习指南1. 深入理解核心API1.1 集合框架(Collections Framework)1.2 输入输出流(I/O Streams)1.3 并发编程(Concurrency)1.4 反射(Reflection)1.5 泛型&…

php交友源码交友系统源码相亲交友系统源码php社交系统php婚恋源码php社区交友源码vue 仿交友社交语聊技术栈

关于PHP交友、相亲、婚恋、社区交友系统的源码以及Vue仿交友社交语聊技术栈,以下是一些详细信息和建议: 一、PHP交友系统源码 系统架构设计 前端展示层:负责向用户提供直观友好的界面,包括注册登录页面、个人资料页面、匹配页面、…

Java小技艺

使用bat文件启动jar包 平时在工作中运行jar包一般是导出后命令行窗口运行 jar -jar xxx.jar 这个其实是很不方便的。可以在win上编写bat脚本去运行jar包的。 1 编写bat脚本 start jre8/bin/javaw -jar xxxx.jar2 将jre和待执行的jar包存放到一个目录下(和bat文件在同一目录…

蓝桥杯第22场小白入门赛2~5题

这场比赛开打第二题就理解错意思了,还以为只能用3个消除和5个消除其中一种呢,结果就是死活a不过去,第三题根本读不懂题意,这蓝桥杯的题面我只能说出的是一言难尽啊。。第四题写出来一点但是后来知道是错了,不会正解&am…

‘视’不可挡:OAK相机助力无人机智控飞行!

南京邮电大学通达学院的刘同学用我们的oak-d-lite实现精确打击无人机的避障和目标识别定位功能,取得了比赛冠军。我们盼望着更多的朋友们能够加入到我们OAK的队伍中来,参与到各式各样的比赛中去。我们相信,有了我们相机的助力,大家…

最小生成树——Kruskal、Prim算法

图的存储: 高阶数据结构——图 文章目录 目录 文章目录 一、kruskal算法 二、Prim算法 前言 连通图中的每一棵生成树,都是原图的一个极大无环子图,即:从其中删去任何一条边,生成树 就不在连通;反之&#xf…

集群聊天服务器(9)一对一聊天功能

目录 一对一聊天离线消息服务器异常处理 一对一聊天 先新添一个消息码 在业务层增加该业务 没有绑定事件处理器的话消息会派发不出去 聊天其实是服务器做一个中转 现在同时登录两个账号 收到了聊天信息 再回复一下 离线消息 声明中提供接口和方法 张三对离线的李…

华为再掀技术革新!超薄膜天线设计路由器首发!

随着Wi-Fi技术的不断进步,新一代的Wi-Fi 7路由器凭借其高速率、低延迟、更稳定的性能受到了广泛关注。它能够更好地满足现代家庭对网络性能的高要求,带来更加流畅、高效的网络体验。9月24日,华为在其秋季全场景新品发布会上推出了全新Wi-Fi 7…

C++ 并发专题 - 线程安全的单例模式

一:概述: 在C编程中,call_once 是一种机制,用于确保某个函数或代码段在多线程环境下仅被调用一次。这种机制常用于初始化资源、配置全局变量或执行只需执行一次的逻辑。在 C11 标准中,std::call_once 是由标准库提供的…

【阅读记录-章节2】Build a Large Language Model (From Scratch)

目录 2.Working with text data2.1 Understanding word embeddings2.2 Tokenizing text通过一个简单的实验来理解文本的词元化概念关键概念 2.3 Converting tokens into token IDs实现分词器类(Tokenizer Class)应用分词器测试文本的编码与解码通过分词器…

SDF,一个从1978年运行至今的公共Unix Shell

关于SDF 最近发现了一个很古老的公共Unix Shell服务器,这个项目从1978年运行至今,如果对操作系统,对Unix感兴趣,可以进去玩一玩体验一下 SDF Public Access UNIX System - Free Shell Account and Shell Access 注册方式 我一…

关于Qt C++中connect的几种写法

目录 1. 传统的槽函数写法 2. 使用函数指针的connect写法(5.0) 3. Lambda表达式作为槽函数(C11) 4.使用QOverload选择重载信号的写法 这connect函数就像是编程世界里的“茴”字,千变万化,各有千秋。咱们…

反向代理模块

1 概念 1.1 反向代理概念 反向代理是指以代理服务器来接收客户端的请求,然后将请求转发给内部网络上的服务器,将从服务器上得到的结果返回给客户端,此时代理服务器对外表现为一个反向代理服务器。 对于客户端来说,反向代理就相当于…

用jquery做一个websocket客户端

先看效果图&#xff1a; 功能很简单&#xff0c;就是作为客户端连接websocket&#xff0c;并实现接受和发送消息。具体代码如下&#xff1a; <!DOCTYPE html> <html lang"zh-cn"> <head><meta charset"UTF-8"><meta name"…

【DBA攻坚指南:左右Oracle,右手MySQL-学习总结】

处理log file sync等待事件 首先明确什么是log file sync等待事件 从用户提交会话开始&#xff0c;LGWR进程将redo缓存中的信息写入redo日志文件后&#xff0c;LGWR进程通知用户写操作完成&#xff0c;到用户会话接受到LGWR进程通知为止&#xff0c;这整个过程就是可能出现lo…