机器学习第十一次课

前言

从现在开始进入神经网络的领域了

正文

先是一段历史介绍,这个就跳过吧,我觉得这里最重要的就是反向传播这里

反向传播

反向传播(Backpropagation)是一种训练人工神经网络的算法,它通过计算损失函数关于网络参数的梯度来调整网络参数,以减少预测误差。反向传播算法通常与梯度下降法结合使用,以优化网络的权重。

反向传播算法的工作原理可以概括为以下几个步骤:

  1. 前向传播:输入样本通过网络,计算每个神经元的输出,直到最后一层。在输出层,计算预测值与实际值之间的误差。

  2. 计算误差:使用损失函数(如均方误差、交叉熵等)计算预测值和实际值之间的差异。

  3. 反向传播误差:从输出层开始,逆向计算每一层的误差贡献,即计算损失函数对每个权重的梯度。

  4. 更新权重:使用梯度下降法或其他优化算法,根据计算出的梯度调整每个权重。

下面是一个简单的反向传播计算例子,考虑一个具有单个输入、单个隐藏层(两个神经元)和单个输出的神经网络。假设激活函数为Sigmoid函数,损失函数为均方误差(MSE)。

网络结构如下:

输入层 -- 隐藏层 -- 输出层

网络参数:

  • 输入到隐藏层的权重:w1, w2
  • 隐藏层到输出层的权重:w3, w4
  • 隐藏层和输出层的偏置:b1, b2

Sigmoid函数定义为:

σ(z) = 1 / (1 + e^(-z))

Sigmoid函数的导数为:

σ'(z) = σ(z) * (1 - σ(z))

计算步骤如下:

  1. 前向传播

    • 隐藏层输入:net_h1 = w1 * x + b1net_h2 = w2 * x + b2
    • 隐藏层输出:out_h1 = σ(net_h1)out_h2 = σ(net_h2)
    • 输出层输入:net_o = w3 * out_h1 + w4 * out_h2 + b2
    • 输出层输出:out_o = σ(net_o)
  2. 计算误差

    • 假设实际输出为y,则损失L = 0.5 * (y - out_o)^2
  3. 反向传播误差

    • 输出层误差:δ_o = -(y - out_o) * σ'(net_o)
    • 隐藏层误差:δ_h1 = w3 * δ_o * σ'(net_h1)δ_h2 = w4 * δ_o * σ'(net_h2)
  4. 计算梯度

    • 对于每个权重和偏置,计算损失函数的梯度:
      • dw3 = δ_o * out_h1
      • dw4 = δ_o * out_h2
      • db2 = δ_o
      • dw1 = δ_h1 * x
      • dw2 = δ_h2 * x
      • db1 = δ_h1 + δ_h2
  5. 更新权重

    • 使用梯度下降法更新权重和偏置:
      • w1 = w1 - α * dw1
      • w2 = w2 - α * dw2
      • w3 = w3 - α * dw3
      • w4 = w4 - α * dw4
      • b1 = b1 - α * db1
      • b2 = b2 - α * db2

其中α是学习率。

这个过程会重复进行,每次迭代都会使神经网络的预测更接近实际值。这个例子是简化版的反向传播,实际应用中的网络可能包含多个隐藏层,每层有多个神经元,处理起来会更加复杂。

下面还是给一个计算例子吧:

然后这里

我们需要的是x,y,z对于最终f函数的偏导数

但是我们现在只有x,y对于加号,也就是q的倒数,然后我们还有对于q的偏导,当然这里的话z已经可以直接求出偏导了

然后这里用一个链式求导法则就完事了

然后就求出来了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/21806.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Spring Boot 】JPA 的基本使用

1.JPA描述 JPA(Java Persistence API)是一种Java编程接口,用于简化Java应用程序与数据库之间的交互。它提供了一种标准的持久化方式,可以将Java对象映射到关系型数据库表中,实现对象和数据库之间的转换。通过JPA&…

使用Micronaut框架优化Java微服务架构

引言: 在微服务架构领域,开发者经常面临性能和内存使用效率的挑战。Micronaut框架通过提供快速启动时间和极低的内存占用,成为解决这些挑战的有力工具。此外,Micronaut还提供了依赖注入和面向切面编程的支持,无需依赖…

【算法实战】每日一题:17.1 订单处理问题(差分思想,二分搜索)

题目 一个会议中心的场地预订系统。在接下来的 n 天里,会议中心有一定数量的会议室可供租用。共有 m 份预订请求,每份请求描述为 (d_i, a_i, b_i),表示需要从第 a_i 天到第 b_i 天使用会议室(包括第 a_i 天和第 b_i 天&#xff0…

【C语言】动态内存管理技术文档

【C语言】动态内存管理技术文档 目录 【C语言】动态内存管理技术文档 一、内存管理基础

java基础篇(1)

JDK是什么?有哪些内容组成?JDK是Java开发工具包 JVM虚拟机: Java程序运行的地方 核心类库: Java已经写好的东西,我们可以直接用开发工具: javac、java、jdb、jhat.. JRE是什么?有哪些内容组成? JRE是Java运行环境 JVM、核心类库、运行工具 JDK,JRE&…

【JavaScript脚本宇宙】融合艺术与科技:揭秘JavaScript绘图与图像处理库

图像处理新视界:六种库重塑你的JavaScript开发体验 前言 在这个科技日新月异的时代,图像处理和绘图库已成为开发者必备的工具。本文将讨论六种高效、强大且易用的JavaScript库,它们可以大大提升我们在处理图像和绘图方面的效率。 欢迎订阅专…

Vulnhub项目:HACKSUDO: THOR

1、靶机地址 hacksudo: Thor ~ VulnHubhacksudo: Thor, made by Vishal Waghmare. Download & walkthrough links are available.https://vulnhub.com/entry/hacksudo-thor,733/ 2、渗透过程 来了来了,开搞,先看目标 56.161,本机 56.1…

WebGL开发电力数字孪生

WebGL 开发电力数字孪生是一项复杂但极具潜力的任务。电力数字孪生通过创建电力系统的虚拟模型,可以实时监控、分析和优化电力系统的运行状态。以下是开发电力数字孪生的详细步骤。北京木奇移动技术有限公司,专业的软件外包开发公司,欢迎交流…

【MyBatis】MyBatis操作数据库(二):动态SQL、#{}与${}的区别

目录 一、 动态SQL1.1 \<if>标签1.2 \<trim>标签1.3 \<where>标签1.4 \<set>标签1.5 \<foreach>标签1.6 \<include>标签 二、 #{}与${}的区别2.1 #{}是预编译sql&#xff0c;${}是即时sql2.2 SQL注入2.3 #{}性能高于${}2.4 ${}用于排序功能…

BGP特点

BGP协议本身不产生路由&#xff0c;而是转发本地路由表中来自其他协议生成的路由条目:AS之间正常存在大量的 BGP 邻居关系&#xff0c;且 BGP协议不会计算最佳路径:因此在 BGP协议中管理员需要进行策略来干涉选路&#xff1b; BGP 特点: 1)无类别路径矢量-----距离矢量的升级版…

防雷接地测试方法及注意事项

一、防雷接地的测试方法 检测避雷针、高层建筑物等设施的接地电阻&#xff0c;接雷后能否顺畅导入大地。 1、你先找到防雷接地网的接地引线或等电位联接箱。 2、用接地电阻测测试仪测接地电阻。 &#xff08;有两根测试桩0.4M的要插入泥土&#xff0c;一根距测试点20米&…

基于DeepLabv3+实现图像分割

目录 1. 作者介绍2. DeepLabv3算法2.1 DeepLabv3算法介绍2.2 DeepLabv3模型结构 3. 实验过程基于DeepLabv3实现图像分割3.1 VOC数据集介绍3.2 代码实现3.3 问题分析 4. 参考连接 1. 作者介绍 吴天禧&#xff0c;女&#xff0c;西安工程大学电子信息学院&#xff0c;2023级研究…

[线程与网络] 网络编程与通信原理(五): 深入理解网络层IP协议与数据链路层以太网协议

&#x1f338;个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 &#x1f3f5;️热门专栏:&#x1f355; Collection与数据结构 (92平均质量分)https://blog.csdn.net/2301_80050796/category_12621348.html?spm1001.2014.3001.5482 &#x1f9c0;Java …

基于java的CRM客户关系管理系统(五)

目录 第五章 系统的详细设计与实现 5.1 持久层设计 5.1.1 创建关系映射 5.1.2 与数据库的连接 5.1.3 Hibernate的ORM映射 5.1.4 Struts的配置文件 5.1.5 Spring 的配置文件 5.1.6 DAO层设计 5.2 逻辑业务层设计 5.2.1 业务逻辑类的实现 前面内容请移步 基于java的C…

基于stm32的双蓝牙主从通信—双蓝牙主从配置、串口配置、串口接收处理浮点数(附测试代码)

前言 此次做的内容是使用 mpu6050 无线控制小车的运动。在做的过程中发现需要用到双蓝牙进行两个板子之间的通信&#xff0c;将主板mpu6050检测的数据传输至从板上从而控制车的移动。 1、配置双蓝牙主从通信 以下是转载博主 不怨天&#xff0c;不尤人 的主从配置方法&#xff…

超市管理系统设计1——基本功能设计

超市管理系统基础功能类设计 1. 概述 本设计文稿提供一个基础的超市管理系统&#xff0c;包含基本的功能设计。该系统将管理商品、顾客、员工和交易记录&#xff0c;不需要接入数据库&#xff0c;通过文件存储数据&#xff0c;并满足面向对象编程的基本要求&#xff08;继承、…

FCCL:Learn from others and Be yourself in Heterogeneous Federated Learning

CVPR2022,通过在公开数据集上的logits相似性(同类相近、异类原理)来迁移客户端知识,通过上轮模型和初始模型延缓遗忘。 论文地址:openaccess code: 作者开源 贡献 提出了一种新颖的联邦学习方法,称为 FCCL(联邦互相关和持续学习)。 为异构联邦学习制定了一种简单有效…

java设置图片透明度

在Java中&#xff0c;你可以使用BufferedImage类来处理图片的透明度。BufferedImage类提供了setRGB方法&#xff0c;你可以通过这个方法设置每个像素的透明度。 以下是一个简单的例子&#xff0c;演示了如何设置图片的全局透明度&#xff1a; import javax.imageio.ImageIO; i…

面试题:说一下 http 报文都有哪些东西?

面试题&#xff1a;说一下 http 报文都有哪些东西&#xff1f; HTTP 是传输超文本&#xff08;实际上除了 HTML&#xff0c;可以传输任何类型的文件&#xff0c;如视频、音频、文本等&#xff09;的协议&#xff0c;是一组用于浏览器-服务器之间数据传输的规则。 HTTP 位于 OS…

IO进程线程(四)文件IO之文件属性、目录操作

一、文件属性信息 &#xff08;一&#xff09;stat函数 1. 定义 #include <sys/types.h> #include <sys/stat.h> #include <unistd.h>int stat(const char *pathname, struct stat *statbuf);功能&#xff1a;获取文件的属性信息参数&#xff1a;pathname…