反向传播算法学习笔记

反向传播算法(Back propagation)

目的及思想

我们现在有一堆输入,我们希望能有一个网络,使得通过这个网络的构成的映射关系满足我们的期待。也就是说,我们在解决这个问题之前先假设,这种映射可以用网络的模型来比较好的描述。为什么是网络而不是什么别的形式呢?不懂了。。

这个网络到底是个怎样的形式呢?如下图所示,\(i1,i2\)是输入,\(o1,o2\)是输出,其中\(w1...w8, b1, b2\)是这个网络中的参数。对于一个结点来说,它的所有输出都等于它的每个输入,对于对应\(w\)的加权求和带入激活函数的结果。
853467-20160630141449671-1058672778.png-140.9kB

而现在\(w1...w8, b1, b2\)这些参数都是未知的,我们希望能通过一些方法逼近这些参数的真实结果。

我们将\(w1...w8, b1, b2\)这些参数,考虑成一个高维空间中的点,与三维还有二维的情况类似的,我们贪心的朝着周围都走一小步,找到那个能获得相对最优解的方向,并接受这次移动,这是经典的梯度下降的思想。于是,我们引入了损失函数,使用它来描述这个点的优秀程度。\(w1...w8, b1, b2\)是这个函数的输入,通过调整这些输入,我们希望能获得一个使得损失函数获得最值的位置,然而实际上,我们获得的显然是一个极值,并不一定是最值,除非能证明这个损失函数关于这些参数是凸的。但是,作为一个比较优秀的解,这样做还是有价值的。

后半部分的思想过程顺理成章,感觉整套方法最有价值和启发意义的就是这个网络模型。

具体算法

  1. 设定输入量\(i_1,i_2...i_n\),以及\(w_1...w_{n*n*2}, b_1, b_2\),如果可能尽量设定在离真实解较近的位置,最好在一个坑里?
  2. 激活函数选取经典的sigmoid函数 \(f(x) = \frac{1}{1+e^{-x}}\)
  3. 损失函数取 \(L(w_1...w_{n*n*2}, b_1, b_2) = \frac{1}{2} \sum_{i=1}^n (target_j - o_j)^2\), 我们定义\(i_j\)对应的目标输出为\(target_j\)
  4. 对于当前网络带入\(i_1,i_2...i_n\),求出对应的\(o_1,o_2,...,o_n\). 这个过程显然就是在一张dag上按照拓扑序递推更它的后继节点即可,每到一个点计算它的激活函数的输出,然后更新它的后继节点
  5. 更新完之后,我们就获得了\(o_1,o_2,...,o_n\). 现在需要求解 L 关于这每个参数的在当前输入情况下的偏导。容易利用链式法则解决(懒得写了)这里有超详细推导
    一文弄懂神经网络中的反向传播法——BackPropagation
  6. 返回操作 4,直到获得令人满意的精度

代码

c++写了个实现。太丑了不发了。。最麻烦的部分就是链式求导算梯度的几个式子推导,有了式子之后还是挺好写的。非常有意思的是,一开始的写法,没有加入参数 b1,b2,因此迭代 500000 次左右才能使L达到 1e-22 的精度,但是当我们,补上 b1 和 b2 时,只用迭代 200000 次即可达到,一个式子形式的设计或者说网络结构的设计,对于算法的效果影响还是很巨大的。

转载于:https://www.cnblogs.com/RRRR-wys/p/10873130.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/320406.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

求树的直径

欢迎来踩本人博客 树的直径: 就是树上最长路 方法 : 求两边DFS即可 步骤: 1.从任意一点进行dfs,然后找到一个最长路径,记录最远点u 2.然后从u再进行dfs,找最长路径,记录一点v。 (u&…

微软技术直通车(第三期) 之 人工智能

编者:有幸本周在北京,大家有空来现场面基。微软技术直通车本系列活动密切关注微软及周边相关技术。以微软云计算和相关产品为依托,涉及云计算、数据处理、开发工具、商用软件、物联网、人工智能等前沿科技。系列活动邀请微软技术专家、一线开…

Visual Studio 2017 15.8 正式发布,测试速度提高 82%

Visual Studio 2017 15.8 版本已正式发布:发行说明:https://docs.microsoft.com/zh-cn/visualstudio/releasenotes/vs2017-relnotes#15.8下载地址:https://visualstudio.microsoft.com/downloads/安装现可选择在开始安装之前下载所有安装文件…

.NET Core 2.1中的HttpClientFactory最佳实践

ASP.NET Core 2.1中出现一个新的HttpClientFactory功能,它有助于解决开发人员在使用HttpClient实例从其应用程序发出外部Web请求时可能遇到的一些常见问题。介绍在.NETCore平台的2.1新增了HttpClientFactory,虽然HttpClient这个类实现了disposable&#…

树学

文章目录题目描述题解1:代码:题解2:代码:传送时间限制:C/C 2秒,其他语言4秒 空间限制:C/C 262144K,其他语言524288K 64bit IO Format:> %lld 题目描述 牛妹有一张连通图,由n个点…

csp-2019 复赛游记

文章目录Day0Day\ 0Day 0Day1Day\ 1Day 1Day2Day\ 2Day 2总结:csp−J:csp-J:csp−J:csp−s:csp-s:csp−s:遥远的梦想:Day0Day\ 0Day 0 早上,在运动会上乱搞一波,然后在10点左右到了机房,然后发现巨佬几枚,远看似在认证…

Rainbond v3.7.0:实现企业级PaaS的稳定性

Rainbond v3.7.0:实现企业级PaaS的稳定性Rainbond在v3.7.0版本中释出了大量平台稳定性更新,并在应用管理功能、安全性和系统安装三方面进行了部分优化。作为IT基础系统平台,Rainbond从低耦合的架构设计、高可用的部署方式、自恢复与容错的设计…

简单多边形三角化(暴力)

简单多边形三角化(暴力) 说在前面 网上流传着各种神奇的多边形三角剖分算法,但是讲道理,实现难度太高了。。。也没有搜到其他人的实现。这里写个最暴力的做法。。随机数据验证没问题,欢迎 hack 实现 一个简单多边形的耳朵定义为:如…

牛客网【每日一题】4月13号 Accumulation Degree

文章目录题目描述样例分析:题意:题解:代码:本题目传送题目树学是这个题的简易版,也涉及换根问题,可以先看看这个 树学 时间限制:C/C 1秒,其他语言2秒 空间限制:C/C 32768…

微软把UWP定位成业务线应用程序开发平台

微软把UWP定位成传统业务线(LOB)应用程序开发平台,以使用Windows Template Studio实现快速应用程序开发为重点。但是,为了把LOB开发人员吸引到UWP平台,他们在做的事情不止这些。最初发布时,通用Windows平台…

读 《CSharp Coding Guidelines》有感

C# 编程指南前不久在 Github 上看见了一位大牛创建一个仓库:CSharpCodingGuidelines,打开之后看了一下 readme.md 相关描述,感觉应该很不错,于是就 clone 到本地拜读一下,这里列一些自己的笔记,方便日后回顾…

牛客网 【每日一题】4月10日 二分图染色(弱化版)

精讲 组合、容斥 文章目录题目:题意&&题解::代码:题目传送题目: 时间限制:C/C 1秒,其他语言2秒 空间限制:C/C 524288K,其他语言1048576K 64bit IO Format: %lld …

微软Windows Community Toolkit一览

为了满足业务线开发人员的需求,微软推出了Windows Community Toolkit。这个快速变化的库充当了新的UWP控件和功能的测试基础。在创建UWP之初,其重点目标是智能手机和平板电脑。这意味着大部分开发预算都花费在控件上,确保这些控件能够在有限的…

如何简单的在 ASP.NET Core 中集成 JWT 认证?

前情提要:ASP.NET Core 使用 JWT 搭建分布式无状态身份验证系统文章超长预警(1万字以上),不想看全部实现过程的同学可以直接跳转到末尾查看成果或者一键安装相关的 nuget 包自上一篇介绍如何在 ASP.NET Core 中集成 JWT 的博文发布…

【二分】【暴力】蛋糕(gmoj 3918)

蛋糕 gmoj 3918 题目大意: 有一个蛋糕,分成n∗mn*mn∗m个单位,现在横竖各切三刀,使其分成16个矩阵,使价值最小的矩阵价值最大 输出样例 5 5 95998 21945 23451 99798 74083输入样例 3数据范围 40%的数据&#x…

Music Problem

文章目录题目描述题意:题解:传送时间限制:C/C 2秒,其他语言4秒 空间限制:C/C 131072K,其他语言262144K 64bit IO Format: %lld 题目描述 Listening to the music is relax, but for obsessive(强迫症), it …

可扩展架构设计的三个维度

业界对于可扩展的系统架构设计有一个朴素的理念,就是:通过加机器就可以解决容量和可用性问题这一理念在“云计算”概念疯狂流行的今天,得到了广泛的认可!对于一个规模迅速增长的系统而言,容量和性能问题当然是首当其冲的。但是随着…

.NET Core开发日志——简述路由

有过ASP.NET或其它现代Web框架开发经历的开发者对路由这一名字应该不陌生。如果要用一句话解释什么是路由,可以这样形容:通过对URL的解析,指定相应的处理程序。回忆下在Web Forms应用程序中使用路由的方式:然后是MVC应用程序&…

博客开通

开通博客第一天,纪念一下——

.NetCore Cap 结合 RabbitMQ 实现消息订阅

开源分布式消息框架 Cap 可以在GitHub上拉也可以通过nuget添加上一篇博文写了 Windows RabbitMQ的安装使用 Cap支持事务,通过捕获数据库上下文连接对象实现 消息事务,消息持久化怎么来实现消息订阅 消费?使用起来非常简单,主要通过…