关于神经网络训练的一些建议笔记

关于网络训练时的参考建议:

1.train loss不断下降,test loss不断下降,网络正在学习

2.train loss不断下降,test loss趋于不变,网络过拟合,需要增大数据;减小网络规模dropout;权重衰减或正则化L2等

3.train loss趋于不变,test loss趋于不变,遇到瓶颈,需要减少学习率和批处理大小

4.train loss趋于不变,test loss不断下降,数据集100%有问题

5.train loss不断上升,test loss不断上升,可能网络结构设计不当,超参设置不当,bug等

6.train loss不断上下跳动,可能学习率过大或批处理太小

7.batchnorm:如果每个batch输入的数据都具有不同的分布,会给网络的训练带来困难,数据经过一层层网络计算后,数据分布

也会发生变化,此现象称为 internal covariate shift(内部协变量漂移),之前的解决方法是:较小的学习率;小心的初始化参数;数据白化处理

internal:发生在网络内部

covariate shift:发生在输入层

让每个隐层节点的激活输入分布固定下来,这样就避免internal covariate shift

8.偏差:模型结果和实际结果的偏离程序

9.方差:模型结果围绕着实际结果波动的程度

10.偏差大:不了解数据和数据形态;增加维度,如多项式、高阶项,减少正则参数

11.方差大:波动(可能来自无关紧要的离群值)、不收敛、模型没有找到数据变换的节奏、提供的数据变化不丰富;增加样本,减少特征集合size、增大正则参数

转载于:https://www.cnblogs.com/little-horse/p/10590830.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/278108.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Microsoft Teams的保留策略

Microsoft Teams保留策略现在可在Office 365安全性和合规性中心里进行配置 今天,我们很自豪地宣布,我们正在开始推出针对Microsoft Teams的保留策略。 推出预计将在未来几周内完成。 通过此次发布,Teams管理员可以使用Office 365安全性和合规…

八年溯源,如何巧搭区块链

虎嗅注:区块链正在逐步商业化,但最大的挑战是共识。 为什么这样说?因为商品的溯源防伪业务在过去正是因为缺乏信任感而没有得到普及,这是每个溯源从业者最大的感受。 在虎嗅虎跑团每两周一次线上分享会上,溯源链创始人…

数字签名过程及数字证书

数字签名是什么? 作者:David Youd 翻译:阮一峰 原文网址:http://www.youdzone.com/signature.html 1.鲍勃有两把钥匙,一把是公钥,另一把是私钥。 2.Bob把公钥送给他的朋友们-Pat、Doug、Susan-- 每人一把…

Teams与OneDrive for Business和SharePoint的关系

作为一个相对看重个人信息安全与隐私的人,个人附件等资料在Microsoft Teams中的存储方式、文件访问权限、可见范围问题引起了我的好奇。 众所周知,Teams包含3大主要的模块:单人聊天、团队、会议。那下面让我们一起来看一下,对这三…

hadoop学习笔记(二):centos7三节点安装hadoop2.7.0

环境win7vamvare10centos7 一、新建三台centos7 64位的虚拟机 master 192.168.137.100 root/123456 node1 192.168.137.101 root/123456 node2 192.168.137.102 root/123456 二、关闭三台虚拟机的防火墙,在每台虚拟机里面执行: systemctl sto…

index.html 的默认301或者302跳转

index.html 的默认301或者302跳转 <!DOCTYPE html> <html> <head> <title>Google</title> <style> body { width: 35em; margin: 0 auto; font-family: Tahoma, Verdana, Arial, sans-serif; } </style> <script>window.locat…

在Microsoft Teams中的Visio协作

所有Team站点都带有专用文件库&#xff0c;用于存储所有工作组的内容。 您现在可以从桌面或云存储站点将Visio文件上载到此库&#xff0c;例如&#xff0c;您所在Team的资产都集中在一个位置&#xff0c;供具有权限的任何人进行访问。与其他存储文件一样&#xff0c;您可以直接…

用区块链打击假新闻 这可能是最2017年的一件事

据外媒报道&#xff0c;非营利性基金会PUBLIQ公布了一个基于区块链打造的平台。这是一个用于创建和分享原创新闻和媒体内容的平台&#xff0c;它将在近期推出。据了解&#xff0c;PUBLIQ创建这一平台则是希望能借用类似于比特币一样的系统来打击假新闻。 通过创建一个受信任的经…

oo面向对象第一单元总结

oo第一次作业主要考察了多项式的求导&#xff0c;从简单的幂函数求导到三角函数求导再到嵌套函数的求导&#xff0c;难度循序渐进&#xff0c;对我们对于面向对象的理解的要求也在一次一次提升。一行行代码打下来&#xff0c;一夜夜熬过去&#xff0c;我也来到了这个短暂的停靠…

Microsoft Teams免费版本初体验

Microsoft Teams推出有一段时间了&#xff0c;如果想要体验Teams&#xff0c;必须需要有Office365的订阅。最近微软为了进一步推广Teams&#xff0c;突然宣布Teams免费了。使用过Teams的读者知道Teams是基于Office365账号和组的&#xff0c;那它免费后&#xff0c;不使用Office…

JS:封装函数判断数据类型

思路 1 ).根据 typeof() 的返回值将数据分为2种情况 a.返回值为 string number boolean undefined function (直接返回 typeof() 的返回值) b.返回值为object 2 ).再将 typeof() 返回值为 object 的数据分为2种情况 a.null (直接返回自身) b.包装类 对象 数组 (再进行细分) var…

强制禁用gitlab的双因子认证:Two-Factor Authentication

&#xff08;一&#xff09;问题描述&#xff1a; 此博客解决如下问题&#xff1a;禁用gitlab的双因子认证 禁用前&#xff0c;如图&#xff08;此时&#xff0c;你在gitlab中什么也干不了&#xff09; &#xff08;二&#xff09;思路分析&#xff1a; 百度了很多方法&#xf…

如何将Outgoing Webhook部署到中国版Azure

在这篇文章中&#xff0c;我们主要来如何将Azure DevOps中的项目作为应用发布到中国版Azure的App Service中。 什么是Azure DevOps Azure DevOps, 原名为VSTS, 全称是Visual Studio Team System&#xff0c;是由微软开发的一套具有高生产力、高集成性、可扩展的生命周期开发工…

Google SRE 读书笔记 扒一扒SRE用的那些工具

写在前面 最近花了一点时间阅读了《SRE Goolge运维解密》这本书&#xff0c;对于书的内容大家可以看看豆瓣上的介绍。总体而言&#xff0c;这本书是首次比较系统的披露Google内部SRE运作的一些指导思想、实践以及相关的问题&#xff0c;对于我们运维乃至开发人员都有一定的借鉴…

第8章 java中的并发工具类

8.1 等待线程完成的CountDownLatch 作用&#xff1a;让一个线程等待其余线程完成之后在继续执行&#xff0c;如主线程等待开启服务的子线程执行完毕后主线程继续执行&#xff0c;类似于join。 转载于:https://www.cnblogs.com/AshOfTime/p/10608910.html

Microsoft Teams的Meet Now功能

今天&#xff0c;我们宣布完成了Skype for Business to Teams路线图中首次披露的几项关键会议功能。当个人联系&#xff0c;沟通和协作时&#xff0c;工作就自然而然的完成了&#xff0c;我们相信这些功能&#xff08;除了我们2月的公告之外&#xff09;使Microsoft Teams为所有…

深入 Adobe Reader 保护模式 —— 第一部分 —— 设计

原作者&#xff1a;Liz McQuarrie, Ashutosh Mehra, Suchit Mishra, Kyle Randolph, Ben Roger 译者&#xff1a;lordVice 校对&#xff1a; StrokMitream 看雪翻译小组 介绍 我是 Kyle Randolph&#xff0c; 和我一起的还有负责 Acrobat 系列产品的安全团队&#xff0c; 这些产…

Java泛型主题讨论

说明&#xff1a;在学习泛型这一知识点中&#xff0c;主要参考自《疯狂Java讲义》第7章P307-P330的泛型内容&#xff0c;因为是跳着阅读&#xff0c;所以前面的一些名词不是特别清楚&#xff0c;这里也做出适当备注&#xff0c;供自己识记与理解。 1.泛型 理解&#xff1a;说到…

初学Vue.js,从头来过~

之前上课也学过vue.js&#xff0c;但是一遍过下来&#xff0c;实话&#xff0c;没有记住什么&#xff0c;所以决定自己在对照着文档过一遍&#xff0c;所以之后会弄一些基础的东西&#xff0c;还请大神们莫喷~~~~今天先给平台打一个预防针&#xff0c;Young C 要来啦~~ 吼吼&…

从Microsoft Teams技术栈看前端技术发展趋势

在前不久的微软美国一年一度的Ignite大会上&#xff0c;微软宣布Microsoft Teams是微软历史上发展最快的应用。它将取代Skype for business&#xff0c;成为语音视频协作的主打产品。 我也有幸在上个月微软中国年度技术大会Tech Summit 2018上被邀请作为讲师讲解基于Teams平台…