机器学习---概述(二)

文章目录

  • 1.模型评估
      • 1.1 分类模型评估
      • 1.2 回归模型评估
  • 2. 拟合
      • 2.1 欠拟合
      • 2.2 过拟合
      • 2.3 适当拟合
      • 总结:
  • 3.深度学习
      • 3.1层次(Layers):
      • 3.2 神经元(Neurons):
      • 3.3 总结

1.模型评估

模型评估是机器学习中一个重要的步骤,它用于 确定训练好的机器学习模型的性能和准确性。 当我们训练一个机器学习模型时,我们希望它能在未见过的新数据上表现良好。

模型评估帮助我们估计模型在未知数据上的泛化能力,即它对新样本的预测能力。

1.1 分类模型评估

在这里插入图片描述
评估指标:准确率,即预测正确的数占样本总数的比例。
其他评估指标:精确率、召回率、F1-score、AUC指标等

1.2 回归模型评估

在这里插入图片描述
评估指标:均方根误差(Root Mean Squared Error,RMSE),RMSE是一个衡量回归模型误差率的常用公式。 不过,它仅能比较误差是相同单位的模型。
在这里插入图片描述

例如:
假设上面的房价预测,只有五个样本,对应的
真实值为:100,120,125,230,400
预测值为:105,119,120,230,410
那么使用均方根误差求解得:在这里插入图片描述

其他评价指标:相对平方误差(Relative Squared Error,RSE)、平均绝对误差(Mean Absolute Error,MAE)、相对绝对误差(Relative Absolute Error,RAE)

2. 拟合

在机器学习中,拟合(Fitting)是指通过构建一个模型,使其在训练数据上尽可能地拟合已知的输入与输出之间的关系。当我们说一个模型"拟合"数据时,意味着该模型能够通过学习训练数据中的模式和规律,对未见过的数据做出准确的预测。

拟合的目标是找到一个能够最好地概括数据集特征的模型,以便在新数据上表现良好。这通常涉及选择合适的模型和调整模型的参数,以使模型能够捕捉数据中的结构和趋势。拟合的程度可以通过多种指标来衡量,如均方误差(Mean Squared Error)、交叉熵(Cross Entropy)等。

模型评估用于评价训练好的的模型的表现效果,其表现效果大致可以分为两类:过拟合、欠拟合。

2.1 欠拟合

**欠拟合指模型在训练数据上表现较差,不能很好地捕捉数据中的模式和结构。**通常,欠拟合发生在模型过于简单或不够复杂,无法很好地拟合数据。这样的模型在训练数据和测试数据上都表现不佳,可能由于模型没有充分学习数据中的关键特征。
在这里插入图片描述
因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。
欠拟合(under-fitting):模型学习的太过粗糙,连训练集中的样本数据特征关系都没有学出来。

2.2 过拟合

过拟合指模型在训练数据上表现非常好,但在测试数据上表现较差。这意味着模型在训练数据中学到了数据中的噪声和细微差异,导致其对未知数据的预测性能下降。过拟合通常发生在模型过于复杂或训练数据不足的情况下。
在这里插入图片描述
机器已经基本能区别天鹅和其他动物了。然后,很不巧机器已学到的天鹅图片全是白天鹅的,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。
所以过拟合(over-fitting)为
所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在测试数据集中表现不佳。

2.3 适当拟合

**适当拟合指模型在训练数据上表现良好,并且在测试数据上也能够表现较好。**这样的模型能够捕捉到数据中的关键模式和趋势,能够很好地泛化到未见过的数据。

总结:

欠拟合

学习到的东西太少 模型学习的太过粗糙

过拟合

学习到的东西太多 学习到的特征多,不好泛化

3.深度学习

问题:什么是深度学习

深度学习是机器学习的一种分支,它是建立在人工神经网络(Artificial NeuralNetworks)的基础上,通过多层次的非线性变换来对数据进行建模和学习的一种算法技术。

深度学习的核心思想是模仿人脑的神经网络结构和工作原理。它由多个称为"层"的神经网络组成,每一层都包含许多神经元,这些神经元相互连接并传递信息。信息从输入层经过隐藏层,最终到达输出层,形成了一个端到端的数据处理流程。

在训练阶段,深度学习模型通过输入训练数据,并通过反向传播算法来不断调整网络的参数,以最小化预测结果与真实标签之间的误差(损失函数)。这个过程被称为"训练"模型,其目的是使得模型能够对未见过的数据进行准确预测。

深度学习在机器学习领域取得了很大的成功,尤其是在视觉、语音和自然语言处理等领域。深度学习的强大之处在于它能够自动从原始数据中学习特征表示,不需要手动提取特征。这种自动化的特征学习使得深度学习模型能够处理非常复杂的任务,如图像识别、语音识别、机器翻译等。

深度学习的发展受益于计算能力的提升和大规模数据集的可用性,特别是图形处理单元(GPU)的广泛应用和云计算技术的普及。这些技术为深度学习的训练提供了高效的计算平台,并促进了深度学习在各个领域的应用和研究。

在这里插入图片描述

深度学习演示 链接:http://playground.tensorflow.org

在这里插入图片描述

在深度学习中,网络结构由多个层次组成,每个层次包含许多神经元。这些层次是深度学习模型的核心组件,负责对输入数据进行处理和转换,最终得到输出结果。

3.1层次(Layers):

在深度学习中,层次是神经网络的基本组成单位。每个层次由若干神经元组成,并负责执行特定的数据转换操作。常见的层次类型包括:

输入层(Input Layer):接收原始输入数据,通常是特征向量或图像数据。
隐藏层(Hidden Layer):位于输入层和输出层之间的层次,用于进行非线性变换和特征提取。深度学习中的"深度"即指隐藏层的层数。
输出层(Output Layer):输出模型的预测结果,通常对于分类任务是类别的概率分布,对于回归任务是实数值。

3.2 神经元(Neurons):

神经元是构成神经网络的基本单元,也被称为"节点"或"单元"。每个神经元接收一组输入,并通过权重和偏置进行计算,然后将结果传递给下一层的神经元。神经元之间的连接权重和偏置是模型的学习参数,通过训练数据进行优化。

3.3 总结

通过层次之间的连接和神经元之间的计算,深度学习模型能够自动从数据中学习特征表示,并用于各种任务,如分类、回归、语义分割、图像生成等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/26307.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux操作系统】Vim:提升你的编辑效率

Vim是一款功能强大的文本编辑器,它具有高度可定制性和灵活性,可以帮助程序员和文本编辑者提高编辑效率。本文将介绍Vim的基本使用方法、常用功能和一些实用技巧。 文章目录 1. Vim的基本使用方法:2. 常用功能:2.1 文件操作&#…

LangChain与大模型的学习

这里写目录标题 问题记录1、库的版本问题 实例记录1、公司名生成2 提示模板的使用3LLM Chain 参考资料 问题记录 1、库的版本问题 openai.error.APIConnectionError: Error communicating with OpenAI: HTTPSConnectionPool(hostapi.openai.com, port443): Max retries excee…

Qt应用开发(基础篇)——时间类 QDateTime、QDate、QTime

一、前言 时间类QDateTime、QDate、QTime、QTimeZone保存了Qt的时间、日期、时区信息,常用的时间类部件都会用到这些数据结构,常用概念有年、月、日、时、分、秒、毫秒和时区,时间和时区就关系到时间戳和UTC的概念。 UTC时间,又称…

Baumer工业相机堡盟工业相机如何通过BGAPI SDK获取相机当前数据吞吐量(C#)

Baumer工业相机堡盟工业相机如何通过BGAPISDK里函数来获取相机当前数据吞吐量(C#) Baumer工业相机Baumer工业相机的数据吞吐量的技术背景CameraExplorer如何查看相机吞吐量信息在BGAPI SDK里通过函数获取相机接口吞吐量 Baumer工业相机通过BGAPI SDK获取…

x光下危险物品/违禁物品目标识别的模型训练与推理代码

前言 1.安检在公共场合的重要性不言而喻,保障群众人身安全是其首要任务。在各种场合,安检都是不可或缺的环节。x光安检机作为安检的重要工具,尽管其具有人工监控判断成像的特性,但是其局限性也十分明显。 为了解决这一局限性为出…

python+seaborn线性回归 拟合

文章目录 估计回归拟合绘制线性回归模型的函数拟合不同类型的模型以其他变量为条件在其他情况下绘制回归图估计回归拟合 许多数据集包含多个定量变量,分析的目的通常是将这些变量相互联系起来。我们之前讨论过可以通过显示两个变量的联合分布来实现这一目标的函数。不过,使用…

React 核心开发者 Dan Abramov 宣布从 Meta 离职

导读React.js 核心开发者、Redux 作者 Dan Abramov 在社交平台发文宣布,将辞去在 Meta 的职务: “我感到苦乐参半,几周后我就要辞去 Meta 的工作了。在 Meta 的 React 组织工作是我的荣幸。感谢我过去和现在的同事接纳我,容忍我犯…

Java02-迭代器,数据结构,List,Set ,Map,Collections工具类

目录 什么是遍历? 一、Collection集合的遍历方式 1.迭代器遍历 方法 流程 案例 2. foreach(增强for循环)遍历 案例 3.Lamdba表达式遍历 案例 二、数据结构 数据结构介绍 常见数据结构 栈(Stack) 队列&a…

java:使用flexmark-java 实现 CommonMark(规范 0.28)解析

文档 https://github.com/vsch/flexmark-java 依赖 Java 8 <dependency><groupId>com.vladsch.flexmark</groupId><artifactId>flexmark-all</artifactId><version>0.62.2</version> </dependency>Java 9 <dependency…

QT中定时器的使用

文章目录 概述步骤 概述 Qt中使用定时器大致有两种&#xff0c;本篇暂时仅描述使用QTimer实现定时器 步骤 // 1.创建定时器对象 QTimer *timer new QTimer(this);// 2.开启一个定时器&#xff0c;5秒触发一次 timer->start(5000); // 3.建立信号槽连接&am…

9.物联网操作系统之软件定时器

一。软件定时器概念及应用 1.软件定时器定义 就是软件实现定时器。 2.FreeRTOS软件定时器介绍 如上图所示&#xff0c;Times的左边为设置定时器时间&#xff0c;设置方式可以为任务设置或者中断设置&#xff1b;Times的右边为定时器的定时响应&#xff0c;使用CallBack响应。…

OLAP ModelKit Crack,ADO.NET和IList

OLAP ModelKit Crack,ADO.NET和IList OLAP ModelKit是一个多功能的.NET OLAP组件&#xff0c;用C#编写&#xff0c;只包含100%托管代码。它具有XP主题的外观&#xff0c;并能够使用任何.NET数据源(ADO.NET和IList)。借助任何第三方组件(尤其是图表组件)呈现数据的能力扩展了产品…

MySQL alter命令修改表详解

目录 ALTER TABLE 语法 ALTER TABLE 实例 添加一列 添加多列 重命名列 修改列定义 修改列名和定义 添加主键 删除列 重命名表 修改表的存储引擎 结论 在使用表的过程中&#xff0c;如果您需要对表进行修改&#xff0c;您可以使用 ALTER TABLE 语句。通过 ALTER TAB…

春秋云镜 CVE-2020-25540

春秋云镜 CVE-2020-25540 Thinkadmin v6任意文件读取漏洞 靶标介绍 ThinkAdmin 6版本存在路径查找漏洞&#xff0c;可利用该漏洞通过GET请求编码参数任意读取远程服务器上的文件。 启动场景 漏洞利用 1、未授权列目录poc 读取网站根目录Payload: http://think.admin/Think…

【LeetCode】105. 从前序与中序遍历序列构造二叉树 106. 从中序与后序遍历序列构造二叉树

105. 从前序与中序遍历序列构造二叉树 这道题也是经典的数据结构题了&#xff0c;有时候面试题也会遇到&#xff0c;已知前序与中序的遍历序列&#xff0c;由前序遍历我们可以知道第一个元素就是根节点&#xff0c;而中序遍历的特点就是根节点的左边全部为左子树&#xff0c;右…

4用opencv玩转图像2

opencv绘制文字和几何图形 黑色底图 显示是一张黑色图片 使用opencv画圆形 #画一个圆 cv2.circle(imgblack_img,center(400,400),radius100,color(0,0,255),thickness10) 画实心圆 只需要把thickness-1。 cv2.circle(imgblack_img,center(500,600),radius50,color(0,0,255),t…

C#垃圾回收器GC、析构函数(Finalize 方法)和Dispose

1、垃圾回收器GC GC&#xff08;Garbage Collection)是.NET中的垃圾回收器。以应用程序的root为基础&#xff0c;遍历应用程序在Heap上动态分配的所有对象&#xff0c;通过识别它们是否被引用&#xff0c;来确定哪些对象是已经死亡的&#xff0c;哪些仍需要被使用。已经不再被…

Python Web 开发 Flask 介绍

WEB开发是现在程序必会的技能&#xff0c;因为大部分软件都以Web形式提供&#xff0c;及时制作后台开发&#xff0c;或者只做前台开发&#xff0c;也需要了解Web开发的概念和特点。由于Python是解释性脚本语言&#xff0c;用来做Web开发非常适合&#xff0c;而且Python有上百种…

batch_softmax_loss

每个用户抽取一定数量的困难负样本&#xff0c;然后ssm def batch_softmax_loss_neg(self, user_idx, rec_user_emb, pos_idx, item_emb):user_emb rec_user_emb[user_idx]product_scores torch.matmul(F.normalize(user_emb, dim1), F.normalize(item_emb, dim1).transpose(…

K8s持久化存储(nfs网络存储)

数据卷 emptydir&#xff0c;是本地存储&#xff0c;pod重启&#xff0c;数据就不存在了&#xff0c;需要对数据持久化存储 1.nfs&#xff0c;网络存储 &#xff0c;pod重启&#xff0c;数据还存在的