深度学习读书笔记 绪论

深度学习是什么?

机器学习的分支。

深度学习问题也是指从有限样例中总结出一般的规律,应用在新的未知数据上的方法。

机器学习的三个基本要素

模型

机器学习任务首要弄明白的,也就是一个机器学习任务所面对的输入空间和输出空间。

输入空间到输出空间,xy之间的关系可以用一个函数或者分布来描述的话,机器学习的目标就是找到模型来接近这个真实的函数或者分布。

假设空间

指的是所有可能的预测模型(或假设)的集合。

也就是输入空间和输出空间的中间,模型参数作为模型这个假想函数的变量,作为一种理想状态来拟合真实情况或者说真实的函数。

学习准则

如果训练集由N个独立的,同分布的样本组成。

好的模型应该让xy的值与真实情况尽可能一致。

模型使用期望风险来衡量。

期望风险则是由损失函数来量化xy和真实xy的差异,从而计算期望来定义的。

损失函数有很多种,各自有优缺点。

我们想着最后总要让这个损失函数计算的期望最低,也就是风险最小化准则。

但是期望风险无法计算,能够计算的是经验风险,也就是训练集上的损失函数量化的结果。

如果追求风险最小化,得到的是经验风险的最小化,而不是期望风险。

如果训练样本量比较小,这样容易过拟合。

过拟合:

表现为模型在训练集上错误率低,在未知数据上错误率高。

为了解决过拟合,引入正则化。

正则化:

修改损失函数,添加正则项。

优化算法

最后,确定了训练集,假设空间,学习准则之后,如何找到最优模型?

一个最优化问题。怎么找到最优参数,就是我们的优化算法要解决的事情。

参数,超参数

如果理解参数是函数的系数的话,我们的超参数就是用来定义模型结构或者优化策略的。超参数是用来得到最优参数的手段的参数。

比如聚类算法的类别个数,梯度下降法的步长等。

梯度下降

最常见的优化算法。可以理解为一个人不断下山,寻找最优(最低处)目标。有很多情况,如果优化目标函数是非凸的,就可能只能找到局部最优。为此设计了很多不同的梯度下降避免我们下山路上卡在小山沟,比如一次性走的步长不同之类的思路。

提前停止

防止过拟合。在训练集上训练,使用验证集测试模型是否最优。每次迭代,检测训练出的模型是否在验证集上最优(即准确率不再提升)。

如果在训练集上准确率不断提升,验证集却证明准确率没有提升就是过拟合了,所以我们要在验证集上准确率不再提升时提前停止。

总结

深度学习也是机器学习,在一个机器学习任务中,最开始很重要的就是输入空间和输出空间的确立。之间的真实映射我们使用假设来拟合它,假设的集合就是假设空间。之后使用一个函数来评价不同假设的效果。之后使用优化算法使目标函数最小。(或者说假设效果最好)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/887885.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“移门缓冲支架:为家庭安全加码”

在智能家居日益普及的今天,科技不仅改变了我们的生活方式,也提升了家居的安全。移门缓冲支架作为一项结合了现代技术的小型装置,正逐渐成为提升家庭安全的重要配件。它通过吸收门关闭时的冲击力、减缓关门速度以及减少噪音等多重功能&#xf…

npm error code ETIMEDOUT 简单排查

今天突然没到一个仓库的ius问题。改完之后想发布npm包 出现下面的场景 npm addUser npm adduser npm notice Log in on https://registry.npmjs.org/ Create your account at: https://www.npmjs.com/login?next/login/cli/12596c8b-ba4a-4763-8a97-215087d380c4 Press ENTER…

力扣96:不同的二叉搜索树

给你一个整数 n ,求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种?返回满足题意的二叉搜索树的种数。 示例 1: 输入:n 3 输出:5示例 2: 输入:n 1 输出:1 卡…

小程序-基于java+SpringBoot+Vue的微信小程序养老院系统设计与实现

项目运行 1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境:IDEA,Eclipse,Myeclipse都可以。推荐IDEA; 3.tomcat环境:Tomcat 7.x,8.x,9.x版本均可 4.硬件环境&#xff1a…

Torchtune在AMD GPU上的使用指南:利用多GPU能力进行LLM微调与扩展

Torchtune on AMD GPUs How-To Guide: Fine-tuning and Scaling LLMs with Multi-GPU Power — ROCm Blogs 这篇博客提供了一份详细的使用Torchtune在AMD GPU上微调和扩展大型语言模型(LLM)的指南。Torchtune 是一个PyTorch库,旨在让您轻松地…

计算机网络--网络安全测试

问题 1 以下关于网络安全威胁发展的趋势的描述中错误的是___A_____。 答案: A云计算可以有效地防止网络攻击发生 B网络攻击、病毒与垃圾邮件是网络安全的三大公害 C网络攻击开始演变成某些国家或利益集团重要的政治、军事工具 D趋利性是当前网络攻击的主要特点 …

Java使用replaceAll替换时不使用正则表达式

前言 public String replaceAll(String regex, String replacement) {return Pattern.compile(regex).matcher(this).replaceAll(replacement);}在使用String.replaceAll() 方法时,由于入参时regex ,而入参刚好是正则表达式的字符该怎么办?我…

【0346】Postgres内核 Startup Process 通过 signal 与 postmaster 交互实现 (5)

1. Startup Process 进程 postmaster 初始化过程中, 在进入 ServerLoop() 函数之前,会先通过调用 StartChildProcess() 函数来开启辅助进程,这些进程的目的主要用来完成数据库的 XLOG 相关处理。 如: 核实 pg_wal 和 pg_wal/archive_status 文件是否存在Postgres先前是否发…

STM32C011开发(3)----Flash操作

STM32C011开发----3.Flash操作 概述硬件准备视频教学样品申请源码下载参考程序生成STM32CUBEMX串口配置堆栈设置串口重定向FLASH数据初始化FLASH 读写演示 概述 STM32C011 系列微控制器内置 Flash 存储器,支持程序存储与数据保存,具备页面擦除、双字写入…

电商项目高级篇06-缓存

电商项目高级篇06-缓存 1、docker下启动redis2、项目整合redis3、redis改造三级分类业务 缓存 流程图: data cache.load(id);//从缓存加载数据 If(data null){ data db.load(id);//从数据库加载数据 cache.put(id,data);//保存到 cache 中 } return data;在我们…

TypeScript 命名空间与模块

在 TypeScript 中,命名空间和模块是两种不同的代码组织方式,它们都旨在帮助你管理和维护大型代码库。命名空间提供了一种将相关功能组织在一起的方式,而模块则允许你将代码分解成可重用的单元。在本文中,我们将探讨命名空间和模块…

Vue 原理详解

Vue 原理详解 Vue.js 是一个渐进式框架,它通过数据驱动视图更新和响应式编程使得前端开发变得更加简单高效。在 Vue 的内部实现中,编译过程和响应式机制是两个至关重要的组成部分。本文将详细介绍 Vue.js 的编译器、响应式系统和运行时的工作原理&#…

PS的功能学习

背景差色较大,就魔棒 魔棒的连续就是倒水点的跨越问题 魔棒的容差的选择就有点看经验了,看颜色的统一程度选择 Ctrl D 取消当前所有的选区 至于快速选择工具,和对象选择工具也差不多,只不过控制范围变成了一块一块的&#x…

深度学习实验--初步探索数据增强、优化器对模型的影响

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 前言 这次主要是探究,优化器、数据增强对模型训练的影响;基础篇还剩下几个, 后面的难度会逐步提升;越学,越觉得这个东西很…

新型大语言模型的预训练与后训练范式,谷歌的Gemma 2语言模型

前言:大型语言模型(LLMs)的发展历程可以说是非常长,从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初,LLM的训练过程只关注预训练,但后来逐步扩展到了包括预训练和后训练在内的完整…

Linux:systemd进程管理【1】

整体理解 要快速掌握Linux的systemd并覆盖80%的使用场景,以下是最重要的20%知识点: Systemd简介与核心功能: Systemd是一个系统和服务管理器,作为Linux系统的PID 1进程,负责启动和管理其他系统组件。它提供并行启动服…

SQL Server管理员sa登录失败原因

文章目录 一、开启混合登录模式二、启用sa三、更改密码四、登录sa一、开启混合登录模式 用Windows身份登录数据库服务。 在连接名上右键→属性。 在安全性选项卡下,选择【SQL Server和Windows身份验证模式】,点击【确定】,提示需要重启服务。 Win+R,输入指令:services.ms…

logminer挖掘日志归档查找问题

--根据发生问题时间点查找归档文件 select first_time,NAME from gv$archived_log where first_time>2016-03-15 17:00:00 and first_time<2016-03-15 21:00:00; 2016-03-15 17:23:55 ARCH/jxdb/archivelog/2016_03_15/thread_1_seq_41588.4060.906577337 2016-03-15 17:…

如何监控Elasticsearch集群状态?

大家好&#xff0c;我是锋哥。今天分享关于【如何监控Elasticsearch集群状态&#xff1f;】面试题。希望对大家有帮助&#xff1b; 如何监控Elasticsearch集群状态&#xff1f; 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 监控 Elasticsearch 集群的状态对于确保…

C# 集合(Collection)

文章目录 前言一、动态数组&#xff08;ArrayList&#xff09;二、哈希表&#xff08;Hashtable&#xff09;三、排序列表&#xff08;SortedList&#xff09;四、堆栈&#xff08;Stack&#xff09;五、队列&#xff08;Queue&#xff09;六、点阵列&#xff08;BitArray&…