【机器学习笔记】基于实例的学习

基于实例的学习

文章目录

  • 基于实例的学习
    • 1 基本概念与最近邻方法
    • 2 K-近邻(KNN)
    • 3 距离加权 KNN
    • 4 基于实例/记忆的学习器
    • 5 局部加权回归
    • 5 多种回归方式对比
    • 6 懒惰学习与贪婪学习

​ 动机:人们通过 记忆和行动来推理学习。

1 基本概念与最近邻方法

  1. 名词概念

    • 参数化

      设定一个特定的函数形式

      优点:简单,容易估计和解释

      可能存在很大的偏置:实际的数据分布可能不遵循假设的分布

    • 非参数化:

      分布或密度的估计是数据驱动的(data-driven)

      需要事先对函数形式作的估计相对更少

  2. 基于实例的学习

    无需构建模型一仅存储所有训练样例,直到有新样例需要分类才开始进行处理。

    • 一个概念 c i c_i ci 可以表示为:

      样例的集合 c i = e i 1 , e i 2 . . . c_i={e_{i1},e_{i2}...} ci=ei1,ei2...

      一个相似度估计函数 f f f

      一个阈值 θ \theta θ

    • 一个实例 a a a 属于概念 c i c_i ci,当

      a a a c i c_i ci 中的某些 e j e_j ej 相似,并且 f ( e i , a ) > θ f(e_i,a)>\theta f(ei,a)>θ

  3. 最近邻方法

    计算新的样例和每个样例的距离,找出最近距离的确定其分类。

    距离度量:欧式距离 ∑ i = 1 n ( x i − y i ) 2 \sqrt{\sum_{i=1}^n(x_i-y_i)^2} i=1n(xiyi)2

    image-20240205172643565

    image-20240205172653858

    1-NN的错误率不大于Bayes方法错误率的2倍

  4. 最近邻的点是噪音怎么办?

    用不止一个邻居,在邻居中进行投票→K近邻(KNN)

2 K-近邻(KNN)

  1. 距离度量

    • 闵可夫斯基距离(Minkowski Distance)

      这是一种广义的距离度量,它包含了欧氏距离、曼哈顿距离和切比雪夫距离等特例
      d ( x , y ) = ( ∑ i = 1 n ∣ x i − y i ∣ p ) 1 p d (x,y) = \left (\sum_{i=1}^n |x_i - y_i|^p \right )^{\frac {1} {p}} d(x,y)=(i=1nxiyip)p1
      其中, x x x y y y 是两个 n n n 维向量, x i x_i xi y i y_i yi 是它们的第 i i i 个分量, p p p 是一个正数,表示距离的幂次。当 p = 2 p=2 p=2 时,就是欧氏距离;当 p = 1 p=1 p=1 时,就是曼哈顿距离;当 p = ∞ p=\infty p= 时,就是切比雪夫距离。

    • 欧氏距离(Euclidean Distance)

      这是最常用的距离度量,它表示两个点在空间中的直线距离,计算公式为:
      d ( x , y ) = ∑ i = 1 n ( x i − y i ) 2 d (x,y) = \sqrt {\sum_{i=1}^n (x_i - y_i)^2} d(x,y)=i=1n(xiyi)2
      其中, x x x y y y 是两个 n n n 维向量, x i x_i xi y i y_i yi 是它们的第 i i i 个分量。

    • 曼哈顿距离(Manhattan Distance)

      又称街区距离,这是另一种常用的距离度量,它表示两个点在网格中的路径距离,计算公式为:
      d ( x , y ) = ∑ i = 1 n ∣ x i − y i ∣ d (x,y) = \sum_{i=1}^n |x_i - y_i| d(x,y)=i=1nxiyi
      其中, x x x y y y 是两个 n n n 维向量, x i x_i xi y i y_i yi 是它们的第 i i i 个分量。

    • 切比雪夫距离(Chebyshev Distance)

      又称棋盘距离,这是一种极端的距离度量,它表示两个点在各个维度上的最大差值,计算公式为:
      d ( x , y ) = max ⁡ i = 1 n ∣ x i − y i ∣ d (x,y) = \max_{i=1}^n |x_i - y_i| d(x,y)=i=1maxnxiyi
      其中, x x x y y y 是两个 n n n 维向量, x i x_i xi y i y_i yi 是它们的第 i i i 个分量。

    • 加权欧氏距离(Mean Censored Euclidean)
      d ( x , y ) = ∑ i = 1 n ( x i − y i ) 2 n d (x,y) = \sqrt {\frac{\sum_{i=1}^n (x_i - y_i)^2}{n}} d(x,y)=ni=1n(xiyi)2
      在欧式距离中,如果维度很高那么最后的值会很大,加权欧式距离/n考虑的就是这个问题。

    • Bray-Curtis Dist
      ∑ k ∣ x i k − x j k ∣ ∑ k ( x i k + x j k ) \frac{\sum_k|x_{ik}-x_{jk}|}{\sum_k(x_{ik}+x_{jk})} k(xik+xjk)kxikxjk
      在生物信息学上经常被使用,用来描述生物多样性。

  2. 属性

    • 属性归一化

      目的是消除不同属性之间的量纲和尺度的影响,使得数据更加统一和规范

      归一化方法: log ⁡ , min ⁡ − max ⁡ , s u m \log,\min-\max,sum log,minmax,sum

    • 属性加权

      无关的属性也会被使用进来,需要根据每个属性的相关性进行加权。

      加权方法:互信息
      KaTeX parse error: Expected 'EOF', got '&' at position 25: …(X)+H(Y)-H(X,Y)&̲\text{H:熵(entro…

  3. 连续取值目标函数

    k个近邻训练样例的均值。

    image-20240205174546985

    上图中红色:实例的真实值蓝色:估计值

  4. k的选择

    • 多数情况下k=3

    • 取决于训练样例的数目——更大的k不一定带来更好的效果

    • 交叉验证

      Leave-one-out:每次拿一个样例作为测试,所有其他的作为训练样例

    • KNN是稳定的——样例中小的混乱不会对结果有非常大的影响

  5. 打破平局

    如果k=3并且每个近邻都属于不同的类。

    • K值可以稍微比类别数大1或2,并且为奇数
    • 取1-NN(最近邻)
    • 随机选一个
  6. 关于效率

    KNN算法把所有的计算放在新实例来到时,实时计算开销大

    • 加速对最近邻居的选择

      先检验临近的点,忽略比目前找到最近的点更远的点

    • 通过 KD-tree 来实现

      KD-tree: k 维度的树(数据点的维度是 k)

      基于树的数据结构

      递归地将点划分到和坐标轴平行的方形区域内

  7. KD-Tree

    • 构建 KD-Tree

      image-20240205220055878

      • 选择一个范围最宽的维度,选择一个切分点,根据该维度的数据的中位数,将数据集分成两个子集,使得切分点左边的数据都小于等于它,右边的数据都大于等于它;
      • 递归地对左子树和右子树重复上述步骤,直到剩余的数据点少于 m,或者区域的宽度达到最小值
      • 返回根节点,完成 KD-Tree 的构建。

      在每个叶节点维护一个额外信息:这个节点下所有数据点的 (紧) 边界

    • 查询

      image-20240205220924635

      • 先检验临近的点:关注距离所查询数据点最近的树的分支

      • 达到一个叶节点后:计算节点中每个数据点距离目标点的距离

      • 接着回溯检验我们访问过的每个树节点的另一个分支,每次找到一个最近的点,就更新距离的上界

      • 利用最近距离以及每个树节点下数据的边界信息,对一部分不可能包含最近邻居的分支进行剪枝

  8. KNN 优缺点

    • 优点:

      • 概念上很简单,但可以处理复杂的问题

      • 通过对k-近邻的平均,对噪声数据更鲁棒

      • 容易理解:预测结果可解释

      • 训练样例中呈现的信息不会丢失,样例本身被显式地存储下来

      • 实现简单、稳定、没有参数(除了 k)

    • 缺点

      • 内存开销大:需要存储所有样例
      • CPU 开销大:分类新样本需要更大时间
      • 很难确定一个合适的距离函数
      • 不相关的特征 对距离的度量有负面的影响

3 距离加权 KNN

  1. 加权函数
    w i = K ( d ( x i , x q ) ) w_i=K(d(x_i,x_q)) wi=K(d(xi,xq))
    其中 d ( x i , x 1 ) d(x_i,x_1) d(xi,x1)是查询数据点与 x i x_i xi 之间的关系; K ( ⋅ ) K(·) K() 是决定每个数据点权重的核函数。

  2. 输出
    predict = ∑ w i y i ∑ w i \text{predict}=\frac{\sum w_iy_i}{\sum w_i} predict=wiwiyi

  3. 对比加权前后效果

    • KNN

      image-20240205222157055

    • 距离加权KNN

      image-20240205222215211

      高斯核函数:曲线更加平滑。

      image-20240205222234457

4 基于实例/记忆的学习器

  1. 1-NN
    • 距离度量:欧式距离
    • 使用多少个邻居:一个
    • 加权函数(加权):无
    • 如何使用已知的邻居节点:和邻居节点相同
  2. K-NN
    • 距离度量:欧式距离
    • 使用多少个邻居:K 个
    • 加权函数(加权) :无
    • 如何使用已知的邻居节点:K 个邻居节点投票
  3. 距离加权 KNN
    • 距离度量:缩放的欧式距离
    • 使用多少个邻居:所有的,或K 个
    • 加权函数(加权) :高斯核函数
    • 如何使用已知的邻居节点:每个输出的加权平均

5 局部加权回归

image-20240205222719853

  • 距离度量:缩放的欧式距离

  • 使用多少个邻居:所有的,或K 个

  • 加权函数(加权) :高斯核函数

  • 如何使用已知的邻居节点:首先构建一个局部的线性模型。拟合 β 最小化局部的加权平方误差和
    β = arg ⁡ min ⁡ β ∑ k = 1 N w k 2 ( y k − β ⊤ X k ) 2 \beta = \mathop{\arg\min}_\beta \sum_{k=1}^Nw_k^2(y_k-\beta^\top X_k)^2 β=argminβk=1Nwk2(ykβXk)2

5 多种回归方式对比

  1. 线性回归

    image-20240205223054757

  2. 连接所有点

    image-20240205223401423

  3. 1-近邻

    image-20240205223411655

  4. k-近邻(k=9)

    image-20240205223200166

  5. 距离加权 KNN(核回归)

    image-20240205223229347

    选择一个合适的 K w K_w Kw 非常重要,不仅是对核回归,对所有局部加权学习器都很重要。

  6. 局部加权回归

    image-20240205223307395

6 懒惰学习与贪婪学习

  1. 贪婪学习:查询之前就泛化
    • 训练时间长,测试时间短
    • 对于每个查询使用相同模型,倾向于给出全局估计
  2. 懒惰学习:等待查询再泛化
    • 训练时间短,测试时间长
    • 可以得到局部估计

​ 如果它们共享相同的假设空间,懒惰学习可以表示更复杂的函数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/677953.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

四轴飞行器pid简介

四轴飞行器通过螺旋桨的转动产生升力,克服重力飞行, 四电机如果同一方向,除升力外,还会有个旋转分量,所以一般两个相临电机反方向旋转,抵消掉旋转分量,实现飞行器的平稳飞行。现实情况电机螺旋浆…

C#入门及进阶|数组和集合(六):集合概述

1.集合概述 数组是一组具有相同名称和类型的变量集合,但是数组初始化后就不便于再改变其大小,不能实现在程序中动态添加和删除数组元素,使数组的使用具有很多局限性。集合能解决数组存在的这个问题,下面我们来学习介绍集合…

Web课程学习笔记--jsonp的原理与简单实现

jsonp的原理与简单实现 原理 由于同源策略的限制,XmlHttpRequest只允许请求当前源(域名、协议、端口)的资源,为了实现跨域请求,可以通过script标签实现跨域请求,然后在服务端输出JSON数据并执行回调函数&…

AES加密中的CBC和ECB

目录 1.说明 2.ECB模式(base64) 3.CBC模式 4.总结 1.说明 AES是常见的对称加密算法,加密和解密使用相同的密钥,流程如下: 主要概念如下: ①明文 ②密钥 用来加密明文的密码,在对称加密算…

算法学习——LeetCode力扣二叉树篇2

算法学习——LeetCode力扣二叉树篇2 107. 二叉树的层序遍历 II 107. 二叉树的层序遍历 II - 力扣(LeetCode) 描述 给你二叉树的根节点 root ,返回其节点值 自底向上的层序遍历 。 (即按从叶子节点所在层到根节点所在的层&#…

OSDI 2023: Conveyor One-Tool-Fits-All Continuous Software Deployment at Meta

我们使用以下6个分类标准对本文的研究选题进行分析: 1. 部署策略: 蓝/绿部署: 这种策略涉及运行两个相同的环境:“蓝”(当前版本)和“绿”(新版本)。流量被引导到绿色环境进行测试,如果成功,则会无缝切换,最大限度地减少停机时间。金丝雀发布: 这是一个渐进的发布过程,新…

用C语言列出Linux或Unix上的网络适配器

上代码&#xff1a; 1. #include <sys/socket.h> 2. #include <stdio.h> 3. 4. #include <netdb.h> 5. #include <ifaddrs.h> 6. 7. int main() { 8. struct ifaddrs *addresses; 9. if(getifaddrs(&addresses) -1) { 10. printf("…

贰[2],Xamarin生成APK

1&#xff0c;生成改为Release版本 2&#xff0c;选中****.Android项目 3&#xff0c;点击生成&#xff0c;选择存档 4&#xff0c;点击分发 5&#xff0c;选择临时 6&#xff0c;添加签名标识 7&#xff0c;选择对应的签名标识&#xff0c;点击另存为

每天一个数据分析题(一百五十三)

对于执行edu_class变量数据编码和缺失值填充的代码&#xff0c;以下哪个Python代码片段不能正确实现所提供的操作&#xff1f; A. data_raw[‘gender’] data_raw[‘gender’].replace({‘Male’: 1, ‘Female’: 0}) B. data_raw[‘edu_class’] data_raw[‘edu_class’].…

Oracle 几种行转列的方式 sum+decode sum+case when pivot

目录 原始数据&#xff1a; 方式一&#xff1a; 方式二&#xff1a; 方式三&#xff1a; unpivot的使用&#xff1a; 原始数据&#xff1a; 方式一&#xff1a; select t_name,sum(decode(t_item, item1, t_num, 0)) item1,sum(decode(t_item, item2, t_num, 0)) item2,s…

appears to be hung in Auto SQL Tuning task

appears to be hung in Auto SQL Tuning task Oracle 自动定时优化任务执行失败分析 错误现象&#xff1a; Sat Feb 10 03:10:57 2024 Process 0x0x00007FFB81BE44A8 appears to be hung in Auto SQL Tuning task Current time 1707505857, process death time 1707505803 …

已解决ImportError: cannot import name ‘PILLOW_VERSION‘异常的正确解决方法,亲测有效!!!

已解决ImportError: cannot import name PILLOW_VERSION异常的正确解决方法&#xff0c;亲测有效&#xff01;&#xff01;&#xff01; 文章目录 问题分析 报错原因 解决思路 解决方法 总结 在Python项目开发中&#xff0c;依赖管理是保证项目正常运行的关键环节。然而&…

面向字节流编程-TCP协议

前言&#xff1a; 在网络编程-002节中已经介绍了有关传输层TCP协议的基本知识&#xff0c;本节不再介绍有关TCP协议的基础内容&#xff0c;主要讲TCP协议的重点API及其使用方法&#xff0c;通过案例的形式完善。 序列&#xff1a;网络编程 - 004 1.TCP协议API 1.1TCP编程原理…

centos7编译安装redis

一、环境 系统&#xff1a;CentOS Linux release 7.9.2009 (Core) redis版本&#xff1a;redis 6.0.6 二、安装及部署 当前最新稳定版本是redis 6.0.6 国内网址&#xff1a;http://www.redis.cn redis下载列表&#xff1a;http://download.redis.io/releases/ 下载 wge…

GEE数据集——美国地质调查局历史地形图(更新)

美国地质调查局历史地形图 美国地质调查局地形图的历史可追溯到 19 世纪末&#xff0c;当时美国地质调查局开始着手绘制整个美国的详细地图。1:24,000 比例尺&#xff0c;也称为 7.5 分钟四边形地图&#xff0c;成为最广泛使用的比例尺之一。每张地图覆盖 7.5 分经纬度的区域&a…

openresty (nginx)快速开始

文章目录 一、什么是openresty&#xff1f;二、openresty编译安装1. 编译安装命令1.1 编译完成后路径1.2 常用编译选项解释 2. nginx配置文件配置2.1 nginx.conf模板 3. nginx常见配置一个站点配置多个域名nginx配置中location匹配规则 三、OpenResty工作原理OpenResty工作原理…

[office] excel中四舍五入的教程 #经验分享#媒体

excel中四舍五入的教程 Excel中具体该如何把小数数值四舍五入呢?下面是小编带来的关于excel中四舍五入的教程&#xff0c;希望阅读过后对你有所启发! excel中四舍五入的教程&#xff1a; 四舍五入步骤1&#xff1a;如果要将数值四舍五入为整数&#xff0c;可以在B2单元格输入以…

尚硅谷 Vue3+TypeScript 学习笔记(下)

目录 五、组件通信 5.1. 【props】 5.2. 【自定义事件】 5.3. 【mitt】 5.4.【v-model】 5.5.【$attrs】 5.6. 【$refs、$parent】 5.7. 【provide、inject】 5.8. 【pinia】 5.9. 【slot】 1. 默认插槽 2. 具名插槽 3. 作用域插槽 六、其它 API 6.1.【shallowR…

C++ //练习 5.2 什么是块?什么时候会用到块?

C Primer&#xff08;第5版&#xff09; 练习 5.2 练习 5.2 什么是块&#xff1f;什么时候会用到块&#xff1f; 环境&#xff1a;Linux Ubuntu&#xff08;云服务器&#xff09; 工具&#xff1a;vim 解释 块是指复合语句&#xff0c;是用花括号括起来的语句&#xff0c;在…

耳机壳UV树脂制作耳机壳的工艺流程是什么?

使用耳机壳UV树脂制作耳机壳的工艺流程如下&#xff1a; 获取耳模&#xff1a;首先&#xff0c;需要获取用户的耳模。这通常是通过使用一种柔软的材料注入到用户的耳朵中&#xff0c;然后取出并用来制作耳机的内芯。选择UV树脂&#xff1a;接下来&#xff0c;需要选择合适的UV…