【机器学习01】基本概念

机器学习是计算机科学的一个分支,通过算法和统计模型使计算机系统能够在没有明确指令的情况下执行特定任务。机器学习的核心思想是从数据中学习规律,并基于这些规律进行预测或决策。以下是机器学习的一些基本数学定义和概念:

1. 数据集 (Dataset)

数据集是机器学习模型进行训练和测试的数据集合。假设一个数据集 D D D包含 n n n个样本,每个样本由一个特征向量 x i \mathbf{x}_i xi和一个目标变量 y i y_i yi组成:

D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n ) } D = \{(\mathbf{x}_1, y_1), (\mathbf{x}_2, y_2), \ldots, (\mathbf{x}_n, y_n)\} D={(x1,y1),(x2,y2),,(xn,yn)}

其中, x i ∈ R d \mathbf{x}_i \in \mathbb{R}^d xiRd y i ∈ R y_i \in \mathbb{R} yiR y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi{0,1}等。

2. 目标函数 (Objective Function)

目标函数也称为损失函数或代价函数,用于衡量模型预测值与实际值之间的差异。常见的目标函数包括:

  • 均方误差 (Mean Squared Error, MSE):用于回归问题。
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 L(w)=n1i=1n(yiy^i)2
  • 交叉熵 (Cross-Entropy):用于分类问题。
    L ( w ) = − 1 n ∑ i = 1 n [ y i log ⁡ y ^ i + ( 1 − y i ) log ⁡ ( 1 − y ^ i ) ] L(\mathbf{w}) = - \frac{1}{n} \sum_{i=1}^{n} [y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i)] L(w)=n1i=1n[yilogy^i+(1yi)log(1y^i)]

3. 模型 (Model)

机器学习模型是通过学习数据集中的规律来进行预测的函数。假设模型为 f f f,则对于输入特征向量 x \mathbf{x} x,输出预测值 y ^ \hat{y} y^

y ^ = f ( x ; w ) \hat{y} = f(\mathbf{x}; \mathbf{w}) y^=f(x;w)

其中, w \mathbf{w} w为模型的参数。

4. 学习算法 (Learning Algorithm)

学习算法用于优化模型参数 w \mathbf{w} w,使目标函数 L ( w ) L(\mathbf{w}) L(w)最小化。常见的优化算法包括:

  • 梯度下降法 (Gradient Descent)
    w ← w − η ∇ L ( w ) \mathbf{w} \leftarrow \mathbf{w} - \eta \nabla L(\mathbf{w}) wwηL(w)
    其中, η \eta η为学习率, ∇ L ( w ) \nabla L(\mathbf{w}) L(w)为目标函数的梯度。

5. 评估指标 (Evaluation Metrics)

评估指标用于衡量模型的性能。常见的评估指标包括:

  • 精度 (Accuracy):用于分类问题。
    Accuracy = Number of Correct Predictions Total Number of Predictions \text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}} Accuracy=Total Number of PredictionsNumber of Correct Predictions
  • 均方误差 (MSE):用于回归问题。
    MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE=n1i=1n(yiy^i)2

6. 正则化 (Regularization)

正则化用于防止模型过拟合,通过在目标函数中加入正则项来控制模型的复杂度。常见的正则化方法包括:

  • L2 正则化 (Ridge Regression)
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∥ w ∥ 2 2 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \|\mathbf{w}\|_2^2 L(w)=n1i=1n(yiy^i)2+λw22
  • L1 正则化 (Lasso Regression)
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∥ w ∥ 1 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \|\mathbf{w}\|_1 L(w)=n1i=1n(yiy^i)2+λw1

7. 模型验证 (Model Validation)

模型验证用于评估模型在未见数据上的性能,常见的验证方法包括:

  • 交叉验证 (Cross-Validation)
  • 留出法 (Hold-Out Validation)

通过以上数学定义和概念,机器学习系统可以构建、训练和评估,从而实现从数据中学习并进行预测的目的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/17026.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

科普:水冷负载的工作原理

水冷负载是一种利用水作为冷却介质,将电子设备产生的热量传递到外部环境的散热方式。它广泛应用于各种电子设备,如服务器、数据中心、电力设备等,以提高设备的运行效率和稳定性。本文将对水冷负载的工作原理进行简要科普。 水冷负载的工作原理…

NLP(17)--大模型发展(1)

前言 仅记录学习过程,有问题欢迎讨论 大模型的演化: ElMO : 类似双向lstm 结果和词向量拼接 预训练鼻祖 GPT :使用了Transformer 模型 开始使用Token (发现预训练的作用) Bert:认为双向比单向好 MLM(双向) 优于 LT…

js怎么保存用户登录信息?js cookie操作封装

在web开发中,用户登录后需要保存登录信息进行身份识别,登录后的操作都需要带上身份信息请求接口。保存登录信息有多种方法,这里使用cookie进行操作。 最终成果:封装cookie操作模块 // utils/cookie.js export default {// 设置co…

2023年广东省程序设计大赛

C 双指针&#xff0c;排序 买便宜的&#xff0c;用最贵的卖出 #include<bits/stdc.h>using namespace std; #define int long long const int N 2e5 10; int n,m; int re[2]{1,4}; int bl[4]{2,3,5,6}; int f; struct node {int x,y; }a[N]; bool cmp(node W,node Q…

ubuntu装完gnome后如何moba登录使用

在Ubuntu中安装了GNOME桌面环境后&#xff0c;你可以通过以下步骤设置MobaXterm远程桌面访问&#xff1a; 确保你的Ubuntu系统已经安装了xrdp服务&#xff0c;如果没有安装&#xff0c;可以使用以下命令安装&#xff1a; sudo apt update sudo apt install xrdp安装GNOME桌面…

Echarts 多y轴折柱混合图

先说下需求&#xff1a;在多y轴的折柱混合图&#xff0c;点击图例时&#xff0c;对应的图会隐藏&#xff0c;但是对应的y轴的线和y轴上的那么不会隐藏。 因为是点击图例&#xff0c;所以这里用到点击事件&#xff0c;Echarts有 legendselectchanged 事件&#xff0c;如下代…

【Linux】POSIX线程库——线程控制

目录 1.线程创建方法 例&#xff1a;多线程创建 2.线程终止 2.1 return nulptr; 2.2 pthread_exit(nullptr); 3. 线程等待 3.1 等待原因 3.2 等待方法 线程终止的返回值问题 4.线程取消 5. 线程分离 5.1 分离原因 5.2 分离方法 6.封装线程 用的接口是POSIX线程库…

音视频开发—音频相关概念:数模转换、PCM数据与WAV文件详解

文章目录 前言1.模拟数字转换&#xff08;ADC&#xff09;1.1ADC的关键步骤&#xff1a; 2.数字模拟转换&#xff08;DAC&#xff09;2.1DAC 的基本流程包括&#xff1a; 3.PCM数据3.1PCM 数据的关键要素包括&#xff1a; 4.WAV文件4.1 WAV的构成4.2WAV文件的标准块结构4.3WAV的…

代码随想录算法训练营第三十八天 | 435.无重叠区间、763.划分字母区间、56.合并区间

目录 435.无重叠区间 思路 代码 763.划分字母区间 思路 代码 56.合并区间 思路 代码 今天的三道题目&#xff0c;都算是 重叠区间 问题&#xff0c;大家可以好好感受一下。 都属于那种看起来好复杂&#xff0c;但一看贪心解法&#xff0c;惊呼&#xff1a;这么巧妙&#xff01…

YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化

yolov8逐步分解(1)--默认参数&超参配置文件加载 yolov8逐步分解(2)_DetectionTrainer类初始化过程 yolov8逐步分解(3)_trainer训练之模型加载 YOLOV8逐步分解(4)_模型的构建过程 YOLOV8逐步分解&#xff08;5&#xff09;_模型训练初始设置之混合精度训练AMP 接逐步分解…

OpenLayers6入门,OpenLayers实现在地图上拖拽编辑修改绘制图形

专栏目录: OpenLayers6入门教程汇总目录 前言 在前面一章中,我们已经学会了如何绘制基础的三种图形线段、圆形和多边形:《OpenLayers6入门,OpenLayers图形绘制功能,OpenLayers实现在地图上绘制线段、圆形和多边形》,那么本章将在此基础上实现图形的拖拽编辑功能,方便我…

使用Java 读取PDF表格数据并保存到TXT或Excel

目录 导入相关Java库 Java读取PDF表格数据并保存到TXT Java读取PDF表格数据并保存到Excel 在日常工作中&#xff0c;我们经常需要处理来自各种来源的数据。其中&#xff0c;PDF 文件是常见的数据来源之一。这类文件通常包含丰富的信息&#xff0c;其中可能包含重要的表格数据…

FreeRtos进阶——栈保存现场的几种场景

MCU架构 在认识栈的结构前&#xff0c;我们先来认识以下单片机的简单架构。在我们的CPU中有着很重要的一个模块——寄存器&#xff08;R0-R15&#xff09;&#xff0c;其中R13&#xff0c;R14&#xff0c;R15的别称分别为SP栈顶指针、LR返回地址、PC当前指令地址。外部RAM是单片…

css中min-height

在CSS中&#xff0c;min-height 属性用于设置元素的最小高度。这意味着&#xff0c;即使内容没有达到指定的最小高度&#xff0c;元素也会尝试占据至少指定的最小高度。 例如&#xff0c;如果你有一个 <div> 元素&#xff0c;并希望它至少有200px的高度&#xff0c;即使…

Android Gradle plugin 版本和Gradle 版本

1.当看到这两个版本时&#xff0c;确实有点迷糊。但是他们是独立的&#xff0c;没有太大关联。 就是说在Android studio中看到的两个版本信息&#xff0c;并无太大关联&#xff0c;是相互独立的。Gradle插件版本决定了你的项目是如何构建的&#xff0c;而Gradle版本是执行构建…

对竞品分析的理解

一、竞品分析是什么 竞品分析即对竞争对手进行分析&#xff0c;是市场研究中的一项重要工作&#xff0c;它可以帮助企业了解竞争对手的产品、策略、市场表现等信息&#xff0c;通过竞品分析可以为自己的产品制定更加精准的策略。 二、为什么要做竞品分析 1.了解市场情况 了解…

002 访问修饰符 package

访问修饰符 在Java中&#xff0c;protected、private、public 和包级别访问权限&#xff08;有时称为default或package-private&#xff09;是用于控制类、变量、方法和构造器的可见性和可访问性的修饰符。下面是这些修饰符的主要区别&#xff1a; public&#xff1a; 可见性…

vue/core源码中ref源码的js化

起源&#xff1a; 当看见reactivity文件中的ref.ts文件长达五百多的ts代码后&#xff0c;突发奇想想看下转化成js有多少行。 进行转化&#xff1a; let shouldTrack true; // Define shouldTrack variable let activeEffect null; // Define activeEffect variable// 定义…

M2m中的采样

采样的完整代码 import torch import numpy as np from torchvision import datasets, transforms from torch.utils.data import DataLoader, WeightedRandomSampler, SubsetRandomSamplerdef get_oversampled_data(dataset, num_sample_per_class):""" Gener…

C语言从头学12——流程控制(一)

C语言程序的执行顺序是从前到后依次序执行的。如果想要控制程序执行的流程&#xff0c;就必须使用 流程控制的语法结构&#xff0c;分为条件执行和循环执行。 1、if语句 if 语句在前面的举例中曾经出现过&#xff0c;这里做详细介绍。该语句用于条件判断&#xff0c;满…