机器学习-笔记

绪论

参考期刊

  • ICCV 偏向视觉
  • CVPR 偏向ML
  • IAAA AI原理
  • ICML

参考链接

  • CSDN 机器学习知识点全面总结

课堂内容学习-0912-N1

  对于特征提取,简而言之就是同类聚得紧,异类分得开
  detection研究的是样本二分类问题,即分为正样本负样本,其中正样本就是我们的检测目标
  对于分类问题就是建立一个特征空间(feature space),寻求空间划分方法,一般而言,对于输入的裸数据,需要对其进行transform,再根据其feature进行特征空间的划分;这里transform就要讲究能将数据很好的根据其特征进行划分。
 划分后的空间特征不是一成不变的,根据所选择的空间基(space basis)的不同,可以得到不同的特征空间,在这里也可以引入稀疏表示(用较少的基本信号的线性组合来表达大部分或者全部的原始信号)

M L = { r e p r e s e n t a t i o n + l o s s _ f u n c t i o n + o p t i m i z e r } l e a r n i n g : s u p e r v i s e d 、 u n s u p e r v i s e d 、 r e i n f o r c e m e n t ML = {\{ representation + loss_\_function + optimizer \}} \\ learning:supervised、unsupervised、reinforcement ML={representation+loss_function+optimizer}learning:supervisedunsupervisedreinforcement

有监督学习(supervised)

有数据标注情况下学习(回归、分类)
代表算法:决策树、朴素贝叶斯、逻辑回归、KNN、SVM、神经网络、随机森林、AdaBoost、遗传算法;
在这里插入图片描述

无监督学习

无监督学习主要聚类、维度约减(减少数据的维度同时保证不丢失有意义的信息)
代表算法:主成分分析方法PCA等,等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法、局部切空间排列方法等;
在这里插入图片描述

强化学习

通过学习可以获得最大回报的行为,让agent(个体)根据自己当前的状态,来决定下一步采取的动作,在机器人中应用广泛

补充

泛函分析

 Functional Analysis (泛函分析),通俗地,可以理解为微积分从有限维空间到无限维空间的拓展——当然了,它实际上远不止于此。在这个地方,函数以及其所作用的对象之间存在的对偶关系扮演了非常重要的角色。Learning发展至今,也在向无限维延伸——从研究有限维向量的问题到以无限维的函数为研究对象。Kernel Learning 和 Gaussian Process 是其中典型的例子——其中的核心概念都是Kernel。很多做Learning的人把Kernel简单理解为Kernel trick的运用,这就把kernel的意义严重弱化了。在泛函里面,Kernel (Inner Product) 是建立整个博大的代数体系的根本,从metric, transform到spectrum都根源于此

稀疏表示(Sparse representation)

参考链接 https://www.cnblogs.com/yifdu25/p/8128028.html
用较少的基本信号的线性组合来表达大部分或者全部的原始信号。

其中,这些基本信号被称作原子,是从过完备字典中选出来的;而过完备字典则是由个数超过信号维数的原子聚集而来的。可见,任一信号在不同的原子组下有不同的稀疏表示。

假设我们用一个MN的矩阵表示数据集X,每一行代表一个样本,每一列代表样本的一个属性,一般而言,该矩阵是稠密的,即大多数元素不为0。 稀疏表示的含义是,寻找一个系数矩阵A(KN)以及一个字典矩阵B(MK),使得BA尽可能的还原X,且A尽可能的稀疏。A便是X的稀疏表示。

南大周志华老师写的《机器学习》这本书上原文:“为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从而使学习任务得以简化,模型复杂度得以降低,通常称为‘字典学习’(dictionary learning),亦称‘稀疏编码’(sparse coding)”块内容

表达为优化问题的话,字典学习的最简单形式为
在这里插入图片描述
其中xi为第i个样本,B为字典矩阵,αi为xi的稀疏表示,λ为大于0参数。

•寻找少量重要的系数来表示原始信号的技术被称作Sparse Coding(稀疏编码或稀疏分解)

协方差矩阵

参考链接:如何直观地理解「协方差矩阵」?
参考链接:矩阵特征值和特征向量详细计算过程

方差和协方差的定义

 在统计学中,方差是用来度量单个随机变量的离散程度,而协方差则一般用来刻画两个随机变量的相似程度 ,其中,方差的计算公式为
σ x 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 \sigma_x^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2 σx2=n11i=1n(xixˉ)2
其中,n 表示样本量,符号 x ˉ \bar{x} xˉ 表示观测样本的均值,这个定义在初中阶段就已经开始接触了。
在此基础上,协方差的计算公式被定义为
σ ( x , y ) = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \sigma(x, y) = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}) σ(x,y)=n11i=1n(xixˉ)(yiyˉ)
 在上述公式中,符号 x ˉ , y ˉ \bar{x} ,\bar{y} xˉ,yˉ分别表示两个随机变量所对应的观测样本均值,因此,方差 可以看作x关于自己的协方差 σ ( x , x ) \sigma(x, x) σ(x,x)

从方差/协方差到协方差矩阵

 考虑有关的随机变量,给定 d d d 个随机变量 x k , k = 1 , 2 , … , d x_k, k = 1, 2, \ldots, d xk,k=1,2,,d,则这些随机变量的方差为 σ ( x k , x k ) = 1 n − 1 ∑ i = 1 n ( x k i − x ˉ k ) 2 , k = 1 , 2 , … , d \sigma(x_k, x_k) = \frac{1}{n - 1} \sum_{i=1}^{n} (x_{ki} - \bar{x}_k)^2,\quad k = 1, 2, \ldots, d σ(xk,xk)=n11i=1n(xkixˉk)2,k=1,2,,d
其中,为方便书写, x k i x_ki xki 表示随机变量 x k x_k xk 的第 i i i 个观测值, n n n 表示样本量,每个随机变量都有对应的观测值个数为 n n n,对于这些随机变量,我们还可以定义其余变量的协方差,实质两两之间的协方差,即
σ ( x m , x k ) = 1 n − 1 ∑ i = 1 n ( x m i − x ˉ m ) ( x k i − x ˉ k ) \sigma(x_m, x_k) = \frac{1}{n - 1} \sum_{i=1}^{n} (x_{mi} - \bar{x}_m)(x_{ki} - \bar{x}_k) σ(xm,xk)=n11i=1n(xmixˉm)(xkixˉk)
因此,协方差矩阵为
Σ = [ σ ( x 1 , x 1 ) ⋯ σ ( x 1 , x d ) ⋮ ⋱ ⋮ σ ( x d , x 1 ) ⋯ σ ( x d , x d ) ] ∈ R d × d \Sigma = \begin{bmatrix} \sigma(x_1, x_1) & \cdots & \sigma(x_1, x_d) \\ \vdots & \ddots & \vdots \\ \sigma(x_d, x_1) & \cdots & \sigma(x_d, x_d) \end{bmatrix} \in \mathbb{R}^{d \times d} Σ= σ(x1,x1)σ(xd,x1)σ(x1,xd)σ(xd,xd) Rd×d
其中,对角线上的元素为变量的方差,非对角线上的元素为变量两两之间的协方差,根据协方差的定义,我们可以认定:协方差矩阵是对称矩阵(symmetric matrix),其大小为 d × d d \times d d×d

从协方差矩阵到相关系数

 相关系数的公式定义如下:
ρ = C o v ( X , Y ) σ x σ y \rho = \frac{Cov(X,Y)}{\sigma_x \sigma_y} ρ=σxσyCov(X,Y)
对于一个如下一个协方差矩阵,可以求得其对应的相关系数
协方差矩阵为:
[ 1 − 2 − 5 2 − 2 4 5 − 5 2 5 9 ] \begin{bmatrix} &1 &-2&-\frac{5}{2} & \\ &-2 &4 &5 & \\ &-\frac{5}{2} &5 &9 & \end{bmatrix} 12252452559
相关系数为:
[ 1 − 1 − 5 6 − 1 1 5 6 − 5 6 5 6 1 ] \begin{bmatrix} & 1 &-1 &-\frac{5}{6} & \\ & -1 &1 &\frac{5}{6} & \\ & -\frac{5}{6} &\frac{5}{6} &1 & \end{bmatrix} 1165116565651

多元正态分布与线性变换

 一个向量 x 服从均值向量为 μ、协方差矩阵为 Σ 的多元正态分布,意味着这个向量的每一个分量都有其自己的均值和方差,这些参数描述了变量之间的关系以及它们各自的波动性,而整个向量则满足多元正态分布。
在这里插入图片描述

 均值向量 μ 描述了向量的每个分量的平均值,也即 μ i \mu_i μi描述的是第i个分量的平均值
 协方差矩阵 Σ 描述了向量中各个分量之间的相关性以及它们各自的方差
因此,向量在各个分量上的平均值是 μ i \mu_i μi,第 i i i个分量的方差是 σ i \sigma_i σi,第 i i i个与第 j j j个分量之间的协方差是 σ i j \sigma_{ij} σij

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/152997.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Rockdb简介

背景 最近在使用flink的过程中,由于要存储的状态很大,所以使用到了rockdb作为flink的后端存储,本文就来简单看下rockdb的架构设计 Rockdb设计 Rockdb采用了LSM的结构,它和hbase很像,不过严格的说,基于LS…

设计模式-行为型模式-责任链模式

一、什么是责任链模式 责任链模式是一种设计模式。在责任链模式里,很多对象由每一个对象对其下家的引用而连接起来形成一条链。请求在这个链上传递,直到链上的某一个对象决定处理此请求。发出这个请求的客户端并不知道链上的哪一个对象最终处理这个请求&…

VS2019编译安装GDAL(C++)程序库

一、GDAL简介 GDAL,全称Geospatial Data Abstraction Library,即地理空间数据抽象库,是一个在X/MIT许可协议下读写空间数据的开源库,可以通过命令行工具来进行数据的转换和处理。而在调用中我们常用的OGR(OpenGIS Simp…

MATLAB中std函数用法

目录 语法 说明 示例 矩阵列的标准差 三维数组的标准差 指定标准差权重 矩阵行的标准差 数组页的标准差 排除缺失值的标准差 标准差和均值 标准差 std函数的功能是得到标准差。 语法 S std(A) S std(A,w) S std(A,w,"all") S std(A,w,dim) S std(A…

Android---Gradle 构建问题解析

想必做 Android App 开发的对 Gradle 都不太陌生。因为有 Android Studio 的帮助,Android 工程师使用 Gradle 的门槛不算太高,基本的配置都大同小异。只要在 Android Studio 默认生成的 build.gradle 中稍加修改,就都能满足项目要求。但是&am…

面试题c/c++ --STL 算法与数据结构

1.6 STL 模板 模板底层实现:编译器会对函数模板进行两次编译, 在声明的地方对模板代码本身进行编译, 在调用的地方对参数替换后的代码进行编译。 模板传参分析 模板重载 vector 是动态空间, 随着元素的加入, 它的内…

Apache Airflow (十二) :PythonOperator

🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。 🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹…

内网穿透的应用-如何在Docker中部署MinIO服务并结合内网穿透实现公网访问本地管理界面

文章目录 前言1. Docker 部署MinIO2. 本地访问MinIO3. Linux安装Cpolar4. 配置MinIO公网地址5. 远程访问MinIO管理界面6. 固定MinIO公网地址 前言 MinIO是一个开源的对象存储服务器,可以在各种环境中运行,例如本地、Docker容器、Kubernetes集群等。它兼…

HTTPS流量抓包分析中出现无法加载key

HTTPS流量抓包分析(TLSv1.2),这篇文章分析的比较透彻,就不班门弄斧了 https://zhuanlan.zhihu.com/p/635420027 写个小问题:RSA密钥对话框加载rsa key文件的时候注意不要在中文目录下,否则会提示:“Enter the passwor…

单张图像3D重建:原理与PyTorch实现

近年来,深度学习(DL)在解决图像分类、目标检测、语义分割等 2D 图像任务方面表现出了出色的能力。DL 也不例外,在将其应用于 3D 图形问题方面也取得了巨大进展。 在这篇文章中,我们将探讨最近将深度学习扩展到单图像 3…

【MySql】13- 实践篇(十一)

文章目录 1. 自增主键为什么不是连续的?1.1 自增值保存在哪儿?1.2 自增值修改机制1.2.1 自增值的修改时机1.2.2 自增值为什么不能回退? 1.3 自增锁的优化1.3.1 自增锁设计历史 2. Insert语句为何很多锁?2.1 insert … select 语句2.2 insert 循环写入2…

以“防方视角”观Shiro反序列化漏洞

为方便您的阅读,可点击下方蓝色字体,进行跳转↓↓↓ 01 案例概述02 攻击路径03 防方思路 01 案例概述 这篇文章来自微信公众号“潇湘信安”,记录的某师傅如何发现、利用Shiro反序列化漏洞,又是怎样绕过火绒安全防护实现文件落地、…

BLIP-2:冻结现有视觉模型和大语言模型的预训练模型

Li J, Li D, Savarese S, et al. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models[J]. arXiv preprint arXiv:2301.12597, 2023. BLIP-2,是 BLIP 系列的第二篇,同样出自 Salesforce 公司&…

物流实时数仓:采集通道搭建

系列文章目录 物流实时数仓:环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5…

OpenCvSharp从入门到实践-(01)认识OpenCvSharp开发环境搭建

目录 一、OpenCV 二、OpenCvSharp 三、OpenCvSharp开发环境搭建 四、下载 五、其他 一、OpenCV OpenCV是基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习函数库,支持Windows、Linux、Android和Mac OS操作系统。OpenCV由一系…

Oracle for Windows安装和配置——Oracle for Windows net配置

2.3. Oracle for Windows net配置 2.3.1. Oracle net配置 2.3.1.1. Oracle net简介 前述章节中,我们只是安装了数据库软件,创建了数据库,测试在服务器本地连接查询数据库。但还不能通过网络远程连接访问数据库,因为我们还没配置用来远程连接访问该数据库的组件Oracle ne…

【Linux】缓冲区+磁盘+动静态库

一、缓冲区 1、缓冲区的概念 缓冲区的本质就是一段用作缓存的内存。 2、缓冲区的意义 节省进程进行数据IO的时间。进程使用fwrite等函数把数据拷贝到缓冲区或者外设中。 3、缓冲区刷新策略 3.1、立即刷新(无缓冲)——ffush() 情况很少&#xff0c…

【蓝桥杯 第十五届模拟赛 Java B组】训练题(A - I)

目录 A、求全是字母的最小十六进制数 B、Excel表格组合 C、求满足条件的日期 D、 取数字 - 二分 (1)暴力 (2)二分 E、最大连通块 - bfs F、哪一天? G、信号覆盖 - bfs (1)bfs&#xf…

【前端学java】java中的日期操作(12)

往期回顾: 【前端学java】JAVA开发的依赖安装与环境配置 (0)【前端学 java】java的基础语法(1)【前端学java】JAVA中的packge与import(2)【前端学java】面向对象编程基础-类的使用 &#xff08…

使用Python的turtle模块绘制玫瑰花图案(含详细Python代码与注释)

1.1引言 turtle模块是Python的标准库之一,它提供了一个绘图板,让我们可以在屏幕上绘制各种图形。通过使用turtle,我们可以创建花朵、叶子、复杂的图案等等。本博客将介绍如何使用turtle模块实现绘制图形的过程,并展示最终结果。 …