将独热码应用到神经网络中

引言

接上回,本文继续说如何用TensorFlow将独热编码应用到一个简单的神经网络中,以实现从一段随机文本到另一段随机文本的转换。

步骤一:导入库
import tensorflow as tf
import numpy as np
import random
import string
步骤二:生成随机文本数据

用一个函数来生成随机文本数据。

def generate_random_text(length):letters = string.ascii_lowercase + ' 'return ''.join(random.choice(letters) for i in range(length))random_text = generate_random_text(100)
print("Random Text:", random_text)
步骤三:独热编码

接下来,我们将对生成的随机文本进行独热编码。为此,我们需要创建一个字符到整数的映射,并使用这个映射来构建独热编码。


注:上一张我们说的是几个分类(数字代表类别)转为独热码,那么如何将一串文本转为独热码呢?在这里我们的方法是将一串文本的每个字符都对应到一个数字(这个过程就我们叫做映射到数字,这个对应关系的表就成为词汇表),之后从数字生成独热码。把所有数字的独热码放一起,就是这段文本的独热码了。


chars = string.ascii_lowercase + ' '
char_to_int = {c: i for i, c in enumerate(chars)}
int_to_char = {i: c for c, i in char_to_int.items()}def one_hot_encode(text):encoded = [char_to_int[char] for char in text]return tf.one_hot(encoded, depth=len(chars))encoded_text = one_hot_encode(random_text)
步骤四:构建神经网络模型

现在,让我们定义一个简单的密集神经网络模型(后期讲),它将接受独热编码的文本并尝试预测下一个字符的独热编码。

model = tf.keras.Sequential([tf.keras.layers.Flatten(input_shape=(None, len(chars))),tf.keras.layers.Dense(128, activation='relu'),tf.keras.layers.Dense(len(chars), activation='softmax')
])
步骤五:训练模型

因为作者个人感觉用随机数据训练没什么意义,也拟合不出什么,所以省略了…

步骤六:模型预测与解码

我们直接用没训练过的模型来预测输入文本的输出,并将其从独热编码转换回字符。

def decode_one_hot(output):return ''.join(int_to_char[np.argmax(out)] for out in output)# 假设我们已经训练了模型
# predictions = model.predict(encoded_text)
# decoded_text = decode_one_hot(predictions)
# print("Decoded Text:", decoded_text)

一些话

虽然我们学了很多关于独热码的知识,但是…对于我们的语言模型没有什么卵用…我们用的是字符索引加嵌入层方法(后面细讲)而不是独热码,具体原因:

独热码(One-Hot Encoding)

优势:

  1. 简单直观:每个字符都由一个独立的二进制位表示,这使得编码非常明确和直接。
  2. 易于理解:模型的输入维度与词汇表大小直接相关,容易理解和解释。
  3. 无参数共享:每个字符的表示独立,不会受到其他字符的影响,这在某些情况下可能是有益的。

缺点:

  1. 维度灾难:如果词汇表很大,独热编码会导致极其高维的特征空间,这会增加计算复杂性和存储需求。
  2. 缺乏语义信息:独热编码不包含任何关于字符之间关系的语义信息,即字符之间的相似性或关联性完全被忽略。
  3. 不变性:对于字符的微小变化(如大小写、拼写错误等),独热编码无法提供鲁棒性。

字符索引 + 嵌入层(Character Index + Embedding Layer)

优势:

  1. 维度降低:通过使用较低维度的密集向量来表示字符,嵌入层可以有效减少模型的输入维度。
  2. 捕获语义信息:嵌入层可以学习字符之间的语义关系,使得相似的字符在嵌入空间中拥有相似的表示。
  3. 参数共享:嵌入层中的参数是在所有字符之间共享的,这可以减少模型的总参数数量,提高泛化能力。
  4. 鲁棒性:嵌入层可以对字符的小变化具有一定的鲁棒性,例如拼写错误或大小写变化。

缺点:

  1. 需要大量数据:为了有效地学习嵌入,通常需要大量的训练数据。
  2. 调参复杂:嵌入层的维度和其他超参数需要仔细调整,以找到最佳配置。
  3. 黑盒性质:嵌入层学到的表示可能不如独热编码那样直观易懂。

有问题可以私信,看到会回复。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/44641.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【超音速 专利 CN117710683A】基于分类模型的轻量级工业图像关键点检测方法

申请号CN202311601629.7公开号(公开)CN117710683A申请日2023.11.27申请人(公开)超音速人工智能科技股份有限公司发明人(公开)张俊峰(总); 杨培文(总); 沈俊羽; 张小村 技术领域 本发明涉及图像关键点检测…

数据库MySQL下载安装

MySQL下载安装地址如下: MySQL :: Download MySQL Community Server 1、下载界面 2、点击下载 3、解压记住目录 4、配置my.ini文件 未完..

C语言课程回顾:九、C语言之预处理命令

9 预处理命令 9 预处理命令9.1 概述9.2 宏定义9.2.1 无参宏定义9.2.2 带参宏定义 9.3 文件包含9.4 条件编译9.5 本章小结9.6 扩展 10种软件滤波方法的示例程序1、限副滤波2、中位值滤波法3、算术平均滤波法4、递推平均滤波法(又称滑动平均滤波法)5、中位…

Vue.js学习笔记(五)抽奖组件封装——转盘抽奖

基于VUE2转盘组件的开发 文章目录 基于VUE2转盘组件的开发前言一、开发步骤1.组件布局2.布局样式3.数据准备 二、最后效果总结 前言 因为之前的转盘功能是图片做的,每次活动更新都要重做UI和前端,为了解决这一问题进行动态配置转盘组件开发,…

【jvm】字符串常量池问题

目录 一、基本概念1.1 说明1.2 特点 二、存放位置2.1 JDK1.6及以前2.2 JDK1.72.3 JDK1.8及以后 三、工作原理3.1 创建字符串常量3.2 使用new关键字创建字符串 四、intern()方法4.1 作用 五、优点六、字节码分析6.1 示例16.1.1 代码示例6.1.2 字节码6.1.3 解析 6.2 示例26.2.1 代…

STM32智能仓储管理系统教程

目录 引言环境准备晶智能仓储管理系统基础代码实现:实现智能仓储管理系统 4.1 数据采集模块 4.2 数据处理与决策模块 4.3 通信与网络系统实现 4.4 用户界面与数据可视化应用场景:仓储管理与优化问题解决方案与优化收尾与总结 1. 引言 智能仓储管理系统…

7 月12日学习打卡--栈和队列的相互转换

hello大家好呀,本博客目的在于记录暑假学习打卡,后续会整理成一个专栏,主要打算在暑假学习完数据结构,因此会发一些相关的数据结构实现的博客和一些刷的题,个人学习使用,也希望大家多多支持,有不…

什么是STM32?嵌入式和STM32简单介绍

1、嵌入式和STM32 1.1.什么是嵌入式 除了桌面PC之外,所有的控制类设备都是嵌入式 嵌入式系统的定义:“用于控制、监视或者辅助操作机器和设备的装置”。 嵌入式系统是一个控制程序存储在ROM中的嵌入式处理器控制板,是一种专用的计算机系统。…

初阶数据结构速成

本篇文章算是对初阶数据结构的总结,内容较多,请耐心观看 基础概念部分 顺序表 线性表( linear list )是n个具有相同特性的数据元素的有限序列。 线性表是⼀种在实际中⼴泛使 ⽤的数据结构,常⻅的线性表:…

C语言 错题本

C语言 错题本 文章目录 C语言 错题本77月11号整数求逆--掌握 7月12号求符合给定条件的整数集水仙花数打印九九口诀表--掌握统计素数并求和--掌握 7月13号凑硬币前n项和(一加一减)最大公约数 7月14号正序整数分解 7月17号简单计算器 217月26号求符合给定条件的整数集水仙花数 旨…

【安全设备】上网行为管理

一、什么是上网行为管理 上网行为管理是对企业内部员工使用互联网行为的监视和管理,旨在规范网络使用者的上网行为,提高网络安全性,保护企业信息安全,同时提高员工的工作效率。上网行为管理通过对员工的上网行为进行监控、记录和…

机器学习——关于极大似然估计法的一些个人思考(通俗易懂极简版)

最近在回顾机器学习的一些相关理论知识,回顾到极大似然法时,对于极大似然法中的一些公式有些迷糊了,所以本文主要想记录并分享一下个人关于极大似然估计法的一些思考,如果有误,请见谅,欢迎一起前来探讨。当…

单元测试实施最佳方案(背景、实施、覆盖率统计)

1. 什么是单元测试? 对于很多开发人员来说,单元测试一定不陌生 单元测试是白盒测试的一种形式,它的目标是测试软件的最小单元——函数、方法或类。单元测试的主要目的是验证代码的正确性,以确保每个单元按照预期执行。单元测试通…

合肥高校大学智能制造实验室数字孪生可视化系统平台建设项目验收

合肥高校大学智能制造实验室近日迎来了一项重要时刻,数字孪生可视化系统平台建设项目顺利通过了验收。这一项目的成功实施,不仅标志着合肥高校在智能制造领域取得新的突破,为我国智能制造技术的发展注入新活力。 合肥高校智能制造实验室作为…

T972 切换至pdm 声音输入的方法

1.在hardware/amlogic/audio/audio_hal/audio_hw.c下,直接切换 在 static unsigned int select_port_by_device(struct aml_audio_device *adev) 中先强制切换为pdm 2.在device mk 配置文件中 #add fof fix the mic bug by jason 20230621 PRODUCT_PROPERTY_OVE…

MySQL 数据库基础概念

一、什么是数据库? 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。 每个数据库都有一个或多个不同的 API 用于创建,访问,管理,搜索和复制所保存的数据。 我们也可以将数据存储在文件中&…

浅析Kafka Streams中KTable.aggregate()方法的使用

KTable.aggregate() 方法是 Apache Kafka Streams API 中用于对流数据进行状态化聚合的核心方法之一。这个方法允许你根据一个键值&#xff08;通常是<K,V>类型&#xff09;的流数据&#xff0c;应用一个初始值和一个聚合函数&#xff0c;来累积和更新一个状态&#xff0…

MSPM0G3507(三十六)——超声波PID控制小车固定距离

效果图&#xff1a; 波形图软件是VOFA&#xff0c;B站有教程 &#xff0c;虽然有缺点但是非常简单。 视频效果&#xff1a; PID控制距离 之前发过只有超声波测距的代码&#xff0c;MSPM0G3507&#xff08;三十二&#xff09;——超声波模块移植代码-CSDN博客 SYSCFG配置&#…

Ubuntu下如何设置程序include搜索路径及链接路径

添加库的include及lib路径 linux下系统默认路径为 /usr/include, /usr/local/include, gcc在编译程序时会按照当前目录路径->系统默认路径->系统环境变量的路径方式去查找&#xff0c;所以当我们想调用的库未安装在系统默认路径时&#xff0c;我们可以通过手动添加环境变…

数据压缩的艺术:Kylin Cube设计中的自动压缩特性

数据压缩的艺术&#xff1a;Kylin Cube设计中的自动压缩特性 在大数据的浩瀚宇宙中&#xff0c;Apache Kylin以其卓越的数据立方体&#xff08;Cube&#xff09;技术&#xff0c;为企业提供快速的多维数据分析能力。随着数据量的不断增长&#xff0c;存储效率成为了一个关键问…