机器学习常见基本概念笔记

机器学习

监督学习和非监督学习:

有监督学习的方法就是识别事物,识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。比如分类和回归。
而无监督学习方法只有要分析的数据集的本身,预先没有什么标签。如果发现数据集呈现某种聚集性,则可按自然的聚集性分类,但不予以某种预先分类标签对上号为目的。如聚类。

验证集

主要作用是来验证是否过拟合、以及用来调节训练参数等。

分类的损失函数:

是用来估量模型的预测值y^与真实值 y 的不一致程度。若损失函数很小,表明机器学习模型与数据真实分布很接近,则模型性能良好;若损失函数很大,表明机器学习模型与数据真实分布差别较大,则模型性能不佳。

损失函数判断

训练损失函数越来越低可能会导致过拟合(学得太好了),是否过拟合这时要看测试集的损失函数是否在回增(新数据测试模型是否泛化能力强)。

超参数:

在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参 数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和 效果。超参数也是一个参数,是一个未知变量,但是它不同于训练过程中的参数,它是可以对训练得 到的参数有影响的参数,需要训练者人工输入,并作出调整,以便优化训练模型的效果。
1.定义关于模型的更高层次的概念,如复杂性或学习能力。
2.不能直接从标准模型培训过程中的数据中学习,需要预先定义。
3.可以通过设置不同的值,训练不同的模型和选择更好的测试值来决定。
比如:模型的学习率,深度神经网络隐藏层数。

超参数和参数的区别:

最大的区别就是是否通过数据来进行调整,模型参数通常是有数据来驱动调整,超参数则不需要数据来驱动,而是在训练前或者训练中人为地进行调整地超参数,比如卷积核的数量,卷积核尺寸这些就是超参数。

预训练模型:

预训练模型是一个已经训练好的保存下来的网络,该网络之前在一个大型的数据集上进行了训练。

线性回归没有局部最优。

正则化(Regularization):

给损失函数加一个lambda*权重的平方,权重越小,那么loss值对x的变化不敏感,可以减少噪音对loss值的影响,使函数变得平滑,但是太平滑也不好(理想状态是水平线,即x对loss毫无影响)。并且做regularization的时候不需要考虑bias,因为对x无影响。

机器学习线性回归问题误差(error)主要有两个:

1.偏差(bias):

偏差是指样本拟合出的模型的输出结果的期望与样本真实结果的差距。简单得讲就是拟合得好不好,如果高bias的话离准心远,需要换过一个模型,复杂化模型,增加模型参数。但是太好的话就容易过拟合。低bias对应就是点都打在靶心附近,所以瞄的是准的,但手不一定稳。

2.方差(variance):

方差是指从样本上训练出来的模型在测试集的表现。low 方差对应就是点都打的很集中,但不一定是靶心附近,手很稳,但是瞄的不准。此时就要简化模型,减少模型参数,但是容易欠拟合。

迁移学习

迁移学习是一种机器学习的方法,指的是一个预训练模型被重新用在另一个任务中。目标就是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

极大似然估计

就是用来做参数估计的,让估计的参数尽可能接近总体分布参数,概率最大点就是最像点。

KL散度

是衡量两种概率分布的相似程度,其越小,表示两种概率分布越接近。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/333916.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

adf开发_在EL表达式中引用ADF Faces组件

adf开发EL表达式通常用于在页面上指定ADF Faces组件的属性值。 有趣的是,我们可以使用component关键字来引用要为其评估EL表达式的组件实例。 这是略与此类似Java中。 例如,在以下代码段中,按钮的提示被评估为按钮的文本值,并且它…

Navicat Premium for Mac 快捷键

快捷键说明Comm R运行全部语句Shift Comm R运行当前语句Comm 1显示/隐藏左侧的导航窗格Comm 2显示/隐藏右侧的信息窗格Option Comm T隐藏工具栏Comm N创建新表Comm 添加记录Comm -删除记录Comm Y新建查询,这样会打开一个标签界面,可以在这个界…

wxpython 多线程_在wxPython中使用线程连续更新GUI的好方法?

我正在开发一个使用pythonv2.7和wxpythonv3.0的GUI应用程序。我必须不断更新我的图形用户界面,其中包含许多面板。每个面板包含一个wx.StaticText。我必须不断更新这些wx.StaticTexts。我想用threads。我还使用pubsub模块与GUI通信来更新这些wx.StaticTexts。每件事…

Pytorch代码函数笔记

1.torch.squeeze(): 要对数据的维度进行压缩,去掉维数为1的的维度,比如是一行或者一列这种,一个一行三列(1,3)的数去掉第一个维数为一的维度之后就变成(3)行。 2.nn.Sequential(): 一个有序的容器,神经网络模块将按…

apache poi_将HTML转换为Apache POI的RichTextString

apache poi1.概述 在本教程中,我们将构建一个将HTML作为输入的应用程序,并使用提供HTML的RichText表示形式创建Microsoft Excel工作簿。 为了生成Microsoft Excel工作簿,我们将使用Apache POI 。 为了分析HTML,我们将使用Jericho。…

Windows 下有哪些逆天的软件?

文章目录逆天软件系列1:Everything逆天软件系列2:Total Commander逆天软件系列3:Snipaste逆天软件系列4:Microsoft To-Do逆天软件系列5:ScreenToGIF逆天软件系列6:Geek Uninstaller逆天软件系列7&#xff1…

C++中绘图工具EasyX基本操作

使用头文件 #include <graphics.h>创建和关闭图形界面 initgraph(800,600); //创建图形界面&#xff0c;参数:图形宽度&#xff0c;图形高度 closegraph(); //关闭图形界面画图形形状 //画圆&#xff0c;参数&#xff1a;圆心点x坐标&#xff0c;圆心点y坐标,半径mm c…

oracle adf_Fn函数来构建Oracle ADF应用程序

oracle adf在我之前的一篇文章中&#xff0c;我描述了如何创建一个Docker容器作为ADF应用程序的构建器。 在这里&#xff0c;我将展示如何将此容器用作 在FN平台的功能 。 首先&#xff0c;让我们更新容器&#xff0c;使其符合功能要求&#xff0c;这意味着可以将其作为接受某…

Sublime Text 4.0 4102 安装插件的问题

文章目录安装包控件&#xff08;Package Control&#xff09;如何安装插件打开 Install Package 面板搜索和安装插件无法打开 Install Package 面板的问题故障排除安装包控件&#xff08;Package Control&#xff09; 要安装插件&#xff0c;必须先安装 Package Control&#…

系统制成docker镜像_docker 制作自己的镜像

查看 docker的服务状态systemctl status docker如果没有启动的话&#xff0c;要先启动 docker 服务systemctl start docker制作自己的镜像1.从远程仓库拉取一个纯净的 centos 系统镜像查询 centos 相关的镜像docker search centos下载镜像到本地docker pull 镜像名查看本地镜像…

Pytorch机器学习/深度学习代码笔记

代码步骤笔记导入模块设置参数数据预处理定义数据集1.Dataset2.ImageFolder加载数据集DataLoadertorchvision--数据预处理要使用的库torchvision.datasetstorchvision.modelstorchvision.transforms训练网络参数训练前的准备设置指定的训练设备(GPU、CPU)定义损失函数定义优化器…

maven安装教程安装教程_Maven教程之春

maven安装教程安装教程1.简介 在这篇文章中&#xff0c;我们将演示如何针对非常特定的用例对Spring使用Maven依赖项。 我们使用的所有库的最新版本都可以在Maven Central上找到。 对于一个有效的构建周期来说&#xff0c;了解Maven依赖项的工作方式以及如何对其进行管理很重要…

如何完全卸载 Sublime Text

只是在应用程序删除软件是不够&#xff0c;你还必须把下面这个目录删除掉才行&#xff1a; /Users/liaowenxiong/Library/Application Support/Sublime Text /Users/liaowenxiong/Library/Preferences/Sublime Text /Users/liaowenxiong/Library/Caches/Sublime Text不这么干&…

5位随机数重复的概率 php_PHP产生不重复随机数的5个方法总结

无论是Web应用&#xff0c;还是WAP或者移动应用&#xff0c;随机数都有其用武之地。在最近接触的几个小项目中&#xff0c;我也经常需要和随机数或者随机数组打交道&#xff0c;所以&#xff0c;对于PHP如何产生不重复随机数常用的几种方法小结一下(ps&#xff1a;方法1、4、5是…

pytorch实现图像分类代码实例

图像多标签分类例子 import os import torch import torch.nn as nn import torchvision.transforms as transforms import torchvision.datasets as datasets import torchvision.models as models import matplotlib.pyplot as plt from matplotlib.ticker import MultipleL…

空调吸气和排气_吸气剂和二传手被认为有害

空调吸气和排气Java程序员习惯性地用“ getters”和“ setters”来修饰类&#xff0c;这种做法根深蒂固&#xff0c;以至于几乎没有人质疑为什么这样做或是否应该这样做。 最近&#xff0c;我认为最好不要这样做&#xff0c;并且我开始在编写的Java代码中避免使用它。 在这篇博…

Sublime Text for Mac 如何格式化代码

文章目录格式化 HTML/CSS/JS格式化 Java/C/C格式化 HTML/CSS/JS 格式化 HTML/CSS/JS&#xff0c;请安装插件&#xff1a;html-css-js prettify 格式化的快捷键&#xff1a;Shift Cmd H html-css-js prettify 的简介&#xff1a; Usage Tools -> Command Palette (CmdS…

ic启动器我的世界_hmcl启动器下载-我的世界HMCL启动器下载 v3.3.172官方最新版--pc6下载站...

我的世界HMCL启动器是我的世界游戏玩家必备的游戏启动器&#xff0c;是三年来超过使用3亿次的老牌启动器&#xff0c;不需要其他任何设置&#xff0c;操作非常方便&#xff0c;本站提供现在最新版本下载。我的世界HMCL启动器是我的世界游戏玩家必备的游戏启动器&#xff0c;是三…

C++核心编程笔记

C核心编程1 内存分区模型1.1 程序运行前1.2 程序运行后1.3 new操作符2 引用2.1 引用的基本使用2.2 引用注意事项2.3 引用做函数参数2.4 引用做函数返回值2.5 引用的本质2.6 常量引用3 函数提高3.1 函数默认参数3.2 函数占位参数3.3 函数重载3.3.1 函数重载概述3.3.2 函数重载注…

Sublime Text 如何设置组合快捷键

Sublime 有个功能叫再次缩进&#xff08;Reindent&#xff09;&#xff0c;我就以这个功能为例讲下如何设置快捷键&#xff0c;这个功能的菜单路径是&#xff1a;Edit ➠ Line ➠ Reindent&#xff0c;有人说这个再次缩进可以格式化代码&#xff0c;扯淡&#xff0c;缩进两下也…