深度学习21-30

1.池化层作用(筛选、过滤、压缩)
h和w变为原来的1/2,64是特征图个数保持不变。
在这里插入图片描述

每个位置把最大的数字取出来
在这里插入图片描述
用滑动窗口把最大的数值拿出来,把44变成22
在这里插入图片描述
2.卷积神经网络
(1)conv:卷积进行特征提取,带参数
(2)relu:激活函数,非线性变换,不带参数
卷积层和relu搭配组合
两次卷积一次池化,池化是进行压缩,不带参数
FC全连接层【323210=10240特征,5分类】,有权重参数矩阵
在这里插入图片描述
(3)七层卷积神经网络conv,conv,conv,conv,conv,conv,fc
(4)特征图变化: 在这里插入图片描述
(5)把长方体或者立方体通过转换变成一条向量矩阵,连全连接层。
在这里插入图片描述
(5)agg的训练时长大于alexnet的训练时长

3.残差网络

(1)用经典网络去实验,agg和resnet都是比较主流的神经网络框架。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4.感受野的作用

second conv粉红色小格的感受野是first conv33,first conv感受的是输入数据的55,所以最后的一个值是由之前的55得来的。
一般希望感受野越大越好。
在这里插入图片描述
(2)用3个小的参数得到的 比用1个大的卷积核得到的参数要小
一个7
7的卷积核需要1个relu,3个3*3的卷积核需要3个relu
,3个relu的非线性特征越强在这里插入图片描述

4.递归神经网络

(1)加入一个时间序列,隐层会多一个数据,前一个时刻训练出来的特征也会对后一个特征有影响。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

(2)cnn用于cv计算机视觉,rnn用于nlp自然语言处理。

(3)rnn记忆能力比较强,最后一个结果会把前面所有的结果考虑进来,可能会产生误差。l s t m可以忘记一些特征,c为控制参数,可以决定什么样的信息会被保留什么样的信息会被遗忘。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

(4)门单元乘法操作

5.词向量模型的通俗解释

(1)nlp和自然语言都是同一个词 ,所以他们在空间上的表达和向量上的表达上一致的。
在这里插入图片描述
在这里插入图片描述

(2)谷歌给出的官方数据是300维更精确。
然后根据向量之间的距离,用欧式距离、余弦距离用来计算两个单词的词向量。
在这里插入图片描述
这个图是代表50维的词向量,粉红色这些数字的含义相当于编码,在空间上有意义的,能被计算机识别。
(3)man和boy训练出来的颜色上很相近的。在词向量中输入是有顺序的。让神经网络学到语句的先后顺序。输出层很像多分类层。类似多分类任务后面加入一个softmax层
在这里插入图片描述
在这里插入图片描述

(4)look up embedding 词嵌入查找。a向量找a的词嵌入。
前向传播计算loss function,反向传播通过损失函数计算更新权重参数。word2vec不仅更新权重参数模型,也会更新输入。相当于词嵌入查找表是随机初始化
在这里插入图片描述在这里插入图片描述

6.训练数据的构建

(1)指定滑动窗口来构建输入、输出数据
(前提是要保障词句之间的逻辑关系)
在这里插入图片描述
(2)cbow模型的对比,知道上下文去求中间那个词
在这里插入图片描述
在这里插入图片描述

(3)skipgram模型根据某个词去预测上下文的内容
在这里插入图片描述
在这里插入图片描述
(4)在gensim的工具包中可以选择cbow模型以及skipgram模型
在这里插入图片描述

(5)由输入数据,根据embedding look up去查找该词在词库表的位置。假设拿到一个比较大的语料库,所以最后的分类的类别也会比较多,这是个问题。最后一层相当于softmax。旧方法是由a预测b,新方法是由a预测b在a之后的概率(把a,b都当成输入数据)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

(6)在词向量模型中不仅要更新参数,也要更新x。所以在反向传播当中,我们要更新权重参数和输入数据x。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/35063.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

圈复杂度.

圈复杂度是衡量代码的重要标准 配置: eslint里面:rules:complexity:[error,10]

【LeetCode】合并两个有序链表

将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 解题思路 水题,主要用于后面的链表的归并排序做了该题 AC代码 # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nex…

ChatBI开源实现: 基于SuperSonic的AI+BI的产品设计

产品起源 为什么要做这样的产品?文章《ChatBI开源实现: AIBI的产品设计》中有介绍 为什么要自己做这样的产品?1、低成本试错;2、未来数据生态入口; 为什么要基于Supersonic做? 开源协议友好:可魔改商用 社区…

深入解析MVCC:多版本并发控制的数据库之道

✨✨谢谢大家捧场,祝屏幕前的小伙伴们每天都有好运相伴左右,一定要天天开心哦!✨✨ 🎈🎈作者主页: 喔的嘛呀🎈🎈 ✨✨ 帅哥美女们,我们共同加油!一起进步&am…

服务器CPU选购攻略:Platinum 8272CL与14900K机型对比

弹性云服务器已成为企业数字化转型的重要基础设施。在选购弹性云服务器时,CPU的性能是核心考虑因素之一。本文将围绕Intel Platinum 8272CL和酷睿i9-14900K两款高性能CPU机型,为大家提供选购攻略,并附带快快网络弹性云的优势介绍。 一、Plat…

C语言王国——深入自定义类型(联合体、枚举)

目录 一、引言 二、联合体 2.1 联合体类型的声明 2.2 联合体大小的计算 2.3 联合体的实践运用 2.4 用联合体测试大小端字节序 三、枚举 3.1 枚举类型的声明 3.2 枚举类型的特点 四、总结 一、引言 我们刚学完了结构体,相信大家对自定义类型也有了些许了解&…

【代码随想录】【算法训练营】【第50天】 [1143]最长公共子序列 [1035]不相交的线 [53]买卖股票的最佳时机III [392]判断子序列

前言 思路及算法思维,指路 代码随想录。 题目来自 LeetCode。 day 50,周三,无法坚持~ 题目详情 [1143] 最长公共子序列 题目描述 1143 最长公共子序列 解题思路 前提: 思路: 重点: 代码实现 C语…

07 - matlab m_map地学绘图工具基础函数 - 绘制等高线

07 - matlab m_map地学绘图工具基础函数 - 绘制等高线 0. 引言1. 关于绘制m_contour2. 关于绘制m_contourf3. 关于绘制m_elev4. 结语 0. 引言 本篇介绍下m_map中添加绘制等高线的一系列函数及其用法,主要函数包括m_elev、m_contour、m_contourf还有一些函数也和绘制…

初探海龟绘图

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 海龟绘图是Python内置的模块,在使用前需要导入该模块,可以使用以下几种方法导入: l 直接使用import语句导入海龟…

【OceanBase诊断调优】—— 如何通过trace_id找到对应的执行节点IP

1. 前言 OceanBase作为分布式数据库,查问题找对节点很关键。好在OceanBase执行的每一条SQL都能通过trace_id来关联起来,知道trace_id怎么知道是在哪个节点发起的呢,请看本文。 2. trace_id生成规则 ob内部trace_id的生成函数如下&#xff0…

[AIGC] ClickHouse:一款高性能列式数据库管理系统

轮流探索数据库的世界,我们不得不提到一个重要的角色——ClickHouse。ClickHouse是一个开源的列式数据库管理系统(DBMS),以其卓越的性能,高效的查询能力和易扩展性而被业界广泛关注,尤其在大数据分析方面。 文章目录 1. 什么是 Cl…

LeetCode 算法:将有序数组转换为二叉搜索树 c++

原题链接🔗:将有序数组转换为二叉搜索树 难度:简单⭐️ 题目 给你一个整数数组 nums ,其中元素已经按 升序 排列,请你将其转换为一棵 平衡 二叉搜索树。 示例 1: 输入:nums [-10,-3,0,5,9]…

LinkedBlockingQueue 原理

基本的入队出队 public class LinkedBlockingQueue<E> extends AbstractQueue<E>implements BlockingQueue<E>, java.io.Serializable {static class Node<E> {E item;/*** 下列三种情况之一* - 真正的后继节点* - 自己, 发生在出队时* - null, 表示是…

解决因国内各大镜像站关停导致无法下载镜像的问题

方法1 配置镜像加速 vim /etc/docker/daemon.json {"exec-opts": ["native.cgroupdriversystemd"],"registry-mirrors": ["https://0fivaqt3.mirror.aliyuncs.com","https://hub.appifa.com","https://dockerproxy.co…

[面试题]Zookeeper

[面试题]Java【基础】[面试题]Java【虚拟机】[面试题]Java【并发】[面试题]Java【集合】[面试题]MySQL[面试题]Maven[面试题]Spring Boot[面试题]Spring Cloud[面试题]Spring MVC[面试题]Spring[面试题]MyBatis[面试题]Nginx[面试题]缓存[面试题]Redis[面试题]消息队列[面试题]…

windows桌面运维----第九天

1、新的电脑需要安装哪些驱动&#xff1a; 显卡驱动、声卡驱动、主板驱动、网卡驱动、打印机驱动、外设驱动、 2、网络打印机如何开启打印机共享核客户端连接共享打印机&#xff1a; 一、打开控制面板并定位到设备和打印机&#xff1a; 首先&#xff0c;我们在电脑桌面上找…

【C/C++】Code Style

命名规范 代码元素命名风格注释Namespaceunder_scored为了跟类名做区分Class nameCamelCase为了跟标准库的类名做区分 (建议不要使用大写"C" 或者 “T” 作为前缀)Function namecamelCase小写开头的函数名基本是通用的&#xff0c;除了.Net自成一格Parameters/Local…

【C语言】操作符(上)

目录 1. 操作符的分类 2. 原码、反码、补码 3. 移位操作符 3.1 左移操作符 3.2 右移操作符 4. 位操作符&#xff1a;&、|、^、~ 5. 单目操作符 6. 逗号表达式 最近准备期末考试&#xff0c;好久不见啦&#xff0c;现在回归—— 正文开始—— 1. …

fc-list命令使用指南

fc-list命令使用指南 一、什么是fc-list? fc-list是FontConfig库的一部分&#xff0c;最初为Linux和其他Unix-like系统开发。我们可以用这个命令行快速查询和列出系统中安装的字体。 现在&#xff0c;Windows用户也集成了这个工具&#xff0c;所以我们来讲解一下用法。 二、…

路经src里的文件是?

说明&#xff1a; src 目录指的是源代码&#xff08;source code&#xff09;目录&#xff0c;存放项目应用的源代码&#xff0c;包含项目的逻辑和功能实现&#xff0c;实际上线之后在浏览器中跑的代码就是它们 apis - 业务接口assets - 静态资源 &#xff08;图片&#xff09…