机器学习-有监督学习-神经网络

目录

  • 线性模型
  • 分类与回归
  • 感知机模型
  • 激活函数
  • 维度诅咒
  • 过拟合和欠拟合
  • 正则
  • 数据增强
  • 数值稳定性
  • 神经网络大家族
    • CNN
    • RNN
    • GNN(图神经网络)
    • GAN

线性模型

  • 向量版本
    y = ⟨ w , x ⟩ + b y = \langle w, x \rangle + b y=w,x+b

分类与回归

  • 懂得两者区别
  • 激活函数,损失函数

感知机模型

  • 感知机模型的本质是线性模型,再加上激活函数
  • 训练数据、损失函数、梯度下降,小批量梯度下降
  • 神经网络算法整体流程:
  1. 初始化网络
  2. 前向传播
  3. 计算损失
  4. 计算微分
  5. 梯度下降
  6. 反向传播
  7. 多轮迭代
Created with Raphaël 2.3.0 开始 初始化函数 前向传播 计算损失 计算微分 梯度下降 反向传播 迭代完成? 结束 yes no

激活函数

  • 给模型加入拟合非线性功能
  • 常见激活函数:
    • Sigmoid 0-1 二分类
    • Tanh -1-1
    • relu:公认的最好用的激活函数之一

维度诅咒

  • 神经网络可以很轻松的对隐藏层进行升降维
  • 升维后密度呈现指数形式逐渐下降,维度太大会过拟合

过拟合和欠拟合

  • 训练误差:模型在训练集上的误差
  • 泛化误差:模型在同样从原始样本的分布中抽取的无限多数据样本时模型误差的期望。现实世界不可能有无限多数据,所以只能将模型应用于独立的测试集来估计泛化误差。
  • 过拟合:训练误差小,泛化误差大。
  • 欠拟合:训练误差大,泛化误差大。
  • 解决过拟合:
    • 正则化:减少参数的大小
    • 数据增强:对原始数据做变化增加数据量
    • 降维:特征选择
    • 集成学习:多个模型集成在一起
    • 早停法:监控训练集和验证集的错误率
  • 解决欠拟合:
    • 添加新特征
    • 增加模型复杂度
    • 减少正则化系数

正则

  • 正则:约束模型复杂度来防止过拟合现象的一种手段。模型复杂度是由模型参数量大小和参数的可取值范围共同决定的。
  • 正则两个方向:约束模型参数量(dropout),约束模型取值范围(weight decay)
  • 利用均方范数作为硬性和软性限制
  • 衡量模型好坏可以看方差和偏差
\低方差高方差
低偏差预测准,且较集中预测准,但较分散
高偏差预测不准,且较集中预测不准,且比较分散

在这里插入图片描述

  • L1正则化:使参数稀疏化
    损失函数 = 原始损失函数 + λ 2 m ∑ i = 1 n ∣ w i ∣ \text{损失函数} = \text{原始损失函数} + \frac{\lambda}{2m}\sum_{i=1}^{n} |w_i| 损失函数=原始损失函数+2mλi=1nwi

  • L2正则化:降低参数范围
    损失函数 = 原始损失函数 + λ 2 m ∑ i = 1 n w i 2 \text{损失函数} = \text{原始损失函数} + \frac{\lambda}{2m} \sum_{i=1}^{n} w_i^2 损失函数=原始损失函数+2mλi=1nwi2

  • Dropout 对神经网络的节点进行随机的失活,训练时失活,预测是全部节点

  • 集成学习是打比赛进行提点的一个很重要的方法

数据增强

  • 成功的机器学习应用不是拥有最好的算法,而是拥有最多的数据!
  • 当数据到达一定级数后,拥有相近的高准确度。

数值稳定性

  • 计算机视觉,模型很大,数据集要好几万、好几亿。模型不大,要需要上百。
  • 梯度消失
  • 梯度爆炸
  • 解决方法:数据归一化
    • Z-Score归一化
    • 最大最小归一化
      • 原因:提升模型精度和收敛速度

神经网络大家族

CNN

  • Image Search
  • Image Labeling
  • Image Segmantation
  • Object Detection
  • Object Tracking
  • OCR
  • Video Annotation
  • Recommendation
  • Image Classification
  • Robot perception
  • 以上分类不及1/10

RNN

  • 语法语义分析
  • 信息检索
  • 自动文摘
  • 文本数据挖掘
  • 自动问答
  • 机器翻译
  • 知识图谱
  • 情感分析
  • 文本相似度
  • 文本纠错
    原理:下一层的输入不仅和原始输入有关,还和之前的输出有关

GNN(图神经网络)

  • 芯片设计
  • 场景分析与问题推理
  • 推荐系统
  • 欺诈检测与风控相关
  • 知识图谱
  • 道路交通的流量预测
  • 自动驾驶(无人机等场景)
  • 化学,医疗等场景
  • 生物,制药等场景
  • 社交网络

原理:图节点,边和整体进行训练

GAN

  • 图像超分辨率
  • 艺术创作
  • 图像到图像的翻译(风格迁移)
  • 文本到图像的翻译
  • 图片编辑
  • 服装翻译
  • 照片表情符号
  • 图片融合
  • 图片修补

原理:生成器和判别器

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/104944.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

『heqingchun-ubuntu系统下安装cuda与cudnn』

ubuntu系统下安装cuda与cudnn 一、安装依赖 1.更新 sudo apt updatesudo apt upgrade -y2.基础工具 sudo apt install -y build-essential python二、安装CUDA 1.文件下载 网址 https://developer.nvidia.com/cuda-toolkit-archive依次点击 (1)“CUDA Toolkit 11.6.2”…

Service Weaver:以单体形式编码,以微服务形式部署

分布式应用的主流架构模式演化为微服务架构已经有些年头了。微服务、DevOps、持续交付和容器技术(k8s)是构成最初云原生概念[1]的核心要素。它们相生相拌,共同演进,并推动了云计算全面进入云原生时代。 云原生应用普遍采用微服务架构,遗留的单…

C# Onnx Yolov8 Detect 涉黄检测

效果 项目 检测类别 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; usi…

【Linux】从零开始学习Linux基本指令(一)

🚩纸上得来终觉浅, 绝知此事要躬行。 🌟主页:June-Frost 🚀专栏:Linux入门 🔥该文章主要了解Linux操作系统下的基本指令。 目录: ⌛️指令的理解⏳目录和文件的理解⏳一些常见指令✉…

“小程序:改变电商行业的新趋势“

目录 引言1. 小程序的简介1.1 什么是小程序?1.2 小程序的优势 2. 小程序之电商演示1.注册微信小程序2.安装开发工具3.创建项目 3. 小程序之入门案例总结 引言 随着移动互联网的迅猛发展,小程序作为一种全新的应用形态,正在逐渐改变着传统电商…

鲲山科技:引入和鲸 ModelWhale,实现量化策略的高效迭代

量化投资是数据科学在金融行业的应用。 2023 年,量化行业的超额收益开始收敛,量化私募如何形成自身核心竞争力? 和鲸拜访客户鲲山科技(深圳),揭示其“弯道超车”的独家秘诀。 群体作战 年初至今&#xff…

使用Selenium的WebDriver进行长截图

from selenium import webdriver from PIL import Image from io import BytesIO # 创建浏览器驱动 driver webdriver.Chrome()# 打开网页 driver.get("https://www.douban.com/") # 替换为您要截图的网页URL def get_long_shot(driver,table_element):# 获取页面的…

【软考-中级】系统集成项目管理工程师-配置管理历年案例

持续更新。。。。。。。。。。。。。。。 目录 2023 上 试题三(20分) 2023 上 试题三(20分) 某公司有自己的质量管理体系,其中配置管理程序已运行多年,由项目经理牵头组建变更控制委员会(CCB),在创建配置管理环境后,并经过变更申请…

golang中的RSA算法,加密解密,签名校验,导出公钥密钥,导入公钥密钥

RSA算法广泛应用与数据加密(比如 SSL 传输层加密),数字签名(比如支付宝的支付签名)。 1、加密解密 // encrypts the given message with RSA-OAEP func f1() {// random 用来生成随机的素数rsaPriviteKey, err : rsa…

计算机视觉实战--直方图均衡化和自适应直方图均衡化

计算机视觉 文章目录 计算机视觉前言一、直方图均衡化1.得到灰度图2. 直方图统计3. 绘制直方图4. 直方图均衡化 二、自适应直方图均衡化1.自适应直方图均衡化(AHE)2.限制对比度自适应直方图均衡化(CRHE)3.读取图片4.自适应直方图均…

NewStarCTF 2023 公开赛道 WEEK2|Crypto

目录 T1.滴啤 T2.不止一个pi T3.halfcandecode T4.Rotate Xor T5.broadcast T6.partial decrypt T1.滴啤 下载题目附件,我们获得到以下代码。 from Crypto.Util.number import * import gmpy2 from flag import flag def gen_prime(number):p getPrime(numb…

openGauss指定schema下全部表结构备份与恢复

本次测试针对openGauss版本为2.0.5 gs_dump指定schema下全部表结构信息备份 gs_dump database_name -U username -p port -F c -s -n schema_name -f schema.sqldatabase_name:数据库名,要备份的数据库名称 username:用户名,数据…

跨行或跨列布局

关键点 1、float 实现 2、flex 实现 3、grid 实现效果预览: html: <div class="container"><h2>float 实现</h2>

10.12按键中断

设置按键中断&#xff0c;按键1按下&#xff0c;LED亮&#xff0c;再按一次&#xff0c;灭 按键2按下&#xff0c;蜂鸣器响。再按一次&#xff0c;不响 按键3按下&#xff0c;风扇转&#xff0c;再按一次&#xff0c;风扇停 keyit.h: #ifndef __KEYIT_H__ #define __KEYIT_…

对计算思维的培养

斯坦福大学在 “ 下个十年计算机课程开设情况方案中提出了新的 核心课程体系&#xff0c;包括计算机数学基础、计算机科学中的概率论、数据 结构和算法的理论核心课程&#xff0c;以及包括抽象思维和编程方法、计算机 系统与组成、计算机系统和网络原理在内的系统核心课程。…

Go语言介绍与安装

介绍与安装 本教程介绍了 Go&#xff0c;并讨论了选择 Go 相对于其他编程语言的优势。我们还将学习如何在Windows 中安装 Go。 介绍 Go也称为Golang&#xff0c;是由 Google 开发的一种开源、编译型、静态类型的编程语言。 Go创造背后的关键人物是Rob Pike、 Ken Thompson和…

Blender:渲染一个简单动画

接上 Blender&#xff1a;对模型着色_六月的翅膀的博客-CSDN博客 目标是做一个这种视频 先添加一个曲线&#xff0c;作为相机轨迹 然后添加一个相机 对相机添加物体约束&#xff0c;跟随路径&#xff0c;选择曲线&#xff0c;然后点击动画路径 假如对相机设置跟随路径后&…

STM32_驱动蜂鸣器自定义库

STM32_驱动蜂鸣器自定义库 功能说明&#xff1a; 1、可以实现设置蜂鸣器的音调 2、可以设置蜂鸣器连续鸣响次数 3、设置连续鸣响时间间隔 main.c #include "mymain.h" #include "dev_control.h"int main(void) {HAL_Init();SystemClock_Config();MX_GPIO_…

Linux高性能服务器编程 学习笔记 第十三章 多进程编程

我们将讨论Linux多进程编程的以下内容&#xff1a; 1.复制进程映像的fork系统调用和替换进程映像的exec系列系统调用。 2.僵尸进程以及如何避免僵尸进程。 3.进程间通信&#xff08;Inter Process Communication&#xff0c;IPC&#xff09;最简单的方式&#xff1a;管道。 …

SSM - Springboot - MyBatis-Plus 全栈体系(二十六)

第六章 SpringBoot 快速启动框架&#xff1a;SpringBoot3 实战 一、SpringBoot3 介绍 1. SpringBoot3 简介 SpringBoot 版本&#xff1a;3.0.5 到目前为止已经学习了多种配置 Spring 程序的方式。但是无论使用 XML、注解、Java 配置类还是他们的混合用法&#xff0c;都会觉…