3易懂AI深度学习算法:长短期记忆网络(Long Short-Term Memory, LSTM)生成对抗网络 优化算法进化算法

继续写:https://blog.csdn.net/chenhao0568/article/details/134920391?spm=1001.2014.3001.5502
1.https://blog.csdn.net/chenhao0568/article/details/134931993?spm=1001.2014.3001.5502
2.https://blog.csdn.net/chenhao0568/article/details/134932800?spm=1001.2014.3001.5502

长短期记忆网络(Long Short-Term Memory, LSTM)

长短期记忆网络(LSTM)是一种特殊的循环神经网络(RNN),主要用于处理和预测序列数据中的长期依赖问题。LSTM网络在许多序列数据任务中表现出色,例如语言建模、语音识别和时间序列预测。

为了更好地理解LSTM,我们可以将其比作一部电视剧的编剧。在电视剧中,编剧需要记住过去的情节(长期记忆),同时还要考虑最近的发展(短期记忆),以决定接下来的剧情如何发展。同样,在处理序列数据时,LSTM网络需要记住长期的信息(比如整个对话的背景),同时也要处理最近的输入(比如最近几句话)。

LSTM的关键特点是其内部结构,主要包括三个门(门控单元):遗忘门、输入门和输出门。这些门控单元帮助网络决定何时更新记忆、何时忽略无关信息以及何时将记忆用于当前的输出。

  1. 遗忘门:决定哪些信息应该从单元状态中被遗忘。它通过一系列输入和先前的隐藏状态来查看信息,并输出一个0到1之间的值,其中1表示“完全保留”而0表示“完全忘记”。

  2. 输入门:决定哪些新的信息应该被添加到单元状态中。它包含一个sigmoid层和一个tanh层,sigmoid层决定哪些值需要更新,tanh层则创建一个新的候选值向量,这些值可能会被加入到状态中。

  3. 输出门:决定基于单元状态的下一个隐藏状态(即下一个输出)。隐藏状态包含了先前单元状态的信息,用于预测或决定下一步。

通过这种方式,LSTM能够在处理序列数据时保持对重要历史信息的记忆,同时忽略不相关的信息。这使得LSTM在处理长序列和需要理解长期依赖的任务中特别有效。

用python写个示例

当然可以。以下是一个使用Python中的Keras库来实现简单的LSTM网络的示例。这个例子中,我们将创建一个用于序列数据预测的小型LSTM模型。为了简化,我们会使用一个合成的时间序列数据。

首先,我们需要安装Keras和TensorFlow(如果你还没有安装的话)。你可以使用以下命令安装:

pip install tensorflow

然后,我们可以写一个简单的脚本来创建和训练我们的LSTM模型:

  1. 生成一些合成的时间序列数据。
  2. 创建一个LSTM模型。
  3. 训练模型并对其进行评估。

以下是完整的代码:

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense
from tensorflow.keras.optimizers import Adam# 生成合成数据
def generate_data(seq_length=100, num_samples=1000):x = np.array([np.linspace(0, (seq_length - 1)*0.1, seq_length) for _ in range(num_samples)])y = np.sin(x)return x, y# 创建LSTM模型
def create_lstm_model(input_shape):model = Sequential()model.add(LSTM(50, activation='relu', input_shape=input_shape))model.add(Dense(1))model.compile(optimizer=Adam(learning_rate=0.01), loss='mse')return model# 主程序
def main():# 生成数据x, y = generate_data()x = x.reshape((x.shape[0], x.shape[1], 1))  # 重塑为LSTM需要的形状# 创建并编译模型model = create_lstm_model((x.shape[1], 1))# 训练模型model.fit(x, y, epochs=20, batch_size=32, verbose=1)# 评估模型(这里我们简单地用训练数据评估)loss = model.evaluate(x, y)print("Model Loss:", loss)if __name__ == "__main__":main()

这个脚本首先生成一个基于正弦函数的时间序列数据,然后创建一个包含一个LSTM层和一个密集层的模型。之后,它使用这些数据训练模型,并评估模型的性能。这只是一个简单的示例,实际应用中可能需要更复杂的数据处理和模型结构调整。

生成对抗网络(Generative Adversarial Networks, GANs)

生成对抗网络(GANs)是一种深度学习模型,主要用于生成数据。它由两个部分组成:生成器(Generator)和鉴别器(Discriminator)。

想象一下,生成器就像是一个艺术家,它试图创造看起来真实的作品。鉴别器则像是一个艺术评论家,它的任务是判断作品是真实的还是生成器创造的假作品。

在训练过程中,生成器不断尝试创造越来越逼真的数据(比如图片),而鉴别器则不断学习如何更好地区分真实数据和生成器创造的数据。这个过程就像是一场博弈,最终目标是让生成器能够创造出鉴别器也难以区分的高质量数据。

举个例子,如果我们用GANs来生成图片,生成器最开始可能生成的是一些难以辨认的图像。但随着训练的进行,它学会如何创造越来越真实的图片,比如逼真的人脸或风景画。同时,鉴别器也在学习如何更精准地分辨真假图片。这个过程就像是一个学习和适应的游戏。

用python写个示例

创建一个简单的生成对抗网络(GAN)示例需要使用深度学习库,比如TensorFlow或PyTorch。这里我将使用TensorFlow来演示如何构建一个基本的GAN模型。这个示例将展示如何构建和训练一个生成器(Generator)和一个鉴别器(Discriminator)来生成手写数字图片(类似于MNIST数据集中的图片)。

首先,确保您的环境中已安装TensorFlow。如果未安装,可以通过运行pip install tensorflow来安装。

接下来是构建和训练GAN模型的代码:

import tensorflow as tf
from tensorflow.keras.layers import Dense, Flatten, Reshape
from tensorflow.keras import Sequential
import matplotlib.pyplot as plt
import numpy as np# 加载MNIST数据集
(X_train, _), (_, _) = tf.keras.datasets.mnist.load_data()
X_train = X_train / 255.0  # 归一化# 创建生成器
generator = Sequential([Dense(128, activation='relu', input_shape=(100,)),Dense(784, activation='sigmoid'),Reshape((28, 28))
])# 创建鉴别器
discriminator = Sequential([Flatten(input_shape=(28, 28)),Dense(128, activation='relu'),Dense(1, activation='sigmoid')
])# 编译鉴别器
discriminator.compile(loss='binary_crossentropy', optimizer='adam')
discriminator.trainable = False# 创建和编译GAN模型
gan = Sequential([generator, discriminator])
gan.compile(loss='binary_crossentropy', optimizer='adam')# 训练GAN
epochs = 100
batch_size = 32
for epoch in range(epochs):for _ in range(batch_size):# 随机噪声noise = np.random.normal(0, 1, (batch_size, 100))# 生成图片generated_images = generator.predict(noise)# 真实图片real_images = X_train[np.random.randint(0, X_train.shape[0], batch_size)]# 标签real_y = np.ones((batch_size, 1))fake_y = np.zeros((batch_size, 1))# 训练鉴别器discriminator.trainable = Trued_loss_real = discriminator.train_on_batch(real_images, real_y)d_loss_fake = discriminator.train_on_batch(generated_images, fake_y)d_loss = 0.5 * np.add(d_loss_real, d_loss_fake)# 训练生成器noise = np.random.normal(0, 1, (batch_size, 100))discriminator.trainable = Falseg_loss = gan.train_on_batch(noise, real_y)# 每个epoch结束时打印损失print(f'Epoch {epoch + 1}/{epochs}, Discriminator Loss: {d_loss}, Generator Loss: {g_loss}')# 生成一些图片以查看结果
noise = np.random.normal(0, 1, (10, 100))
generated_images = generator.predict(noise)
plt.figure(figsize=(10, 10))
for i in range(generated_images.shape[0]):plt.subplot(2, 5, i+1)plt.imshow(generated_images[i], cmap='gray')plt.axis('off')
plt.tight_layout()
plt.show()

这个代码首先加载MNIST数据集,然后定义了生成器和鉴别器的结构。生成器的目标是从随机噪声中生成手写数字图片,而鉴别器则试图区分真实图片和生成器生成的图片。接着,代码中定义了训练循环,其中交替地训练鉴别器和生成器。最后,代码生成了一些图片以展示训练后生成器的效果。

梯度下降(Gradient Descent)

梯度下降(Gradient Descent)是一种用于优化算法的方法,广泛应用于机器学习和深度学习中。我们可以用一个生活中的比喻来理解它:想象你站在山上,目标是要走到山谷的最低点。但是,由于浓雾的遮挡,你看不到整座山,只能感觉到脚下地面的倾斜程度。

梯度下降就像是你决定沿着脚下最陡峭的方向(这就是“梯度”)往下走,希望这样能更快地到达山谷底部。在机器学习中,这座山就代表了一个损失函数(Loss Function),这个函数描述了当前模型预测值与实际值之间的误差。山谷的最低点,即损失函数的最小值,对应于模型的最佳参数。

梯度下降法的步骤大致如下:

  1. 选择起始点:这就好比选择一个山上的起始位置。在机器学习中,这通常是随机选择模型参数的初始值。

  2. 计算梯度:梯度是损失函数在当前位置的斜率,指示了误差下降最快的方向。这就像是感觉脚下的地面,判断哪个方向最陡。

  3. 更新位置:根据梯度和一个称为“学习率”的参数,更新你的位置。学习率决定了你每一步走多远。太大可能会越过最低点,太小则下降得很慢。

  4. 重复步骤:重复计算梯度和更新位置,直到找到一个“足够好”的最低点,或者达到预设的迭代次数。

梯度下降法的关键在于学习率的选择和梯度的准确计算。如果学习率太大,可能会错过最低点;如果太小,则可能需要很长时间才能到达最低点。同时,由于只能根据当前位置的梯度信息来决策,因此有时可能会陷入局部最低点,而不是全局最低点。

用python写个示例

当然可以。让我们以一个简单的例子来展示梯度下降的过程:假设有一个函数 ( f(x) = x^2 ),我们想要找到使这个函数最小化的 ( x ) 值。很显然,这个函数的最小值在 ( x = 0 ) 处,但我们将使用梯度下降法来找到这个点。

首先,我们需要计算函数的梯度,即 ( f’(x) = 2x )。然后,我们将从一个随机点开始,比如 ( x = 10 ),并使用梯度下降法来更新 ( x ) 的值,直到找到最小值。

我将编写一个Python脚本来演示这个过程。我们将设置一个学习率,例如 0.1,然后迭代地更新 ( x ) 的值。

通过梯度下降法,我们从起始点 ( x = 10 ) 开始,经过 100 次迭代后,得到的 ( x ) 的值接近于 0(大约是 ( 2.04 \times 10^{-9} )),这与我们预期的最小化点 ( x = 0 ) 非常接近。这个结果展示了梯度下降法在寻找函数最小值时的有效性。在每次迭代中,我们根据函数的梯度(斜率)来更新 ( x ) 的值,并逐渐接近最小值点。

进化算法(Evolutionary Algorithms)

进化算法是一种模仿生物进化过程的算法,用于解决优化和搜索问题。就像自然选择中最适应环境的生物能够生存下来一样,进化算法通过迭代过程优化解决方案。这个过程包括选择、交叉(或称为杂交)、变异和遗传这几个步骤。

让我们用一个简单的例子来理解进化算法的基本原理:假设你正在尝试创建一个可以走得很远的小机器人。你有很多不同设计的小机器人,但你不知道哪一个最好。

  1. 初始化:首先,你随机创建一群小机器人(这就是“种群”)。

  2. 评估:然后,你测试每个机器人走多远(这就是“适应度”评估)。

  3. 选择:选择表现最好的一些机器人。这就像自然界中生存竞争,表现好的有更多机会“繁衍”。

  4. 交叉:将这些表现好的机器人的“特性”组合起来,创造新一代机器人。这就像生物的杂交,后代会继承父代的特性。

  5. 变异:在新一代中引入一些小的随机改变。这就像生物进化中的突变,有助于探索新的可能性。

  6. 迭代:重复这个过程多次。每一代机器人都会根据其走路的能力被评估,选择,杂交,然后再变异。

随着时间的推移,你会发现整体的机器人性能在提高,因为不断有更适应的机器人被创造出来。这就是进化算法的基本思想:通过模拟自然选择和遗传原理来不断优化解决方案。

用python写个示例

当然可以。让我们以一个简单的例子来演示进化算法:我们将尝试优化一个函数,使其输出尽可能接近目标值。我们的目标是找到一个数字,当将其平方时,结果尽可能接近某个给定的目标值(比如42)。

在这个例子中,我们将使用一个非常基础的进化算法流程:

  1. 初始化:生成一个随机数列表(种群)。
  2. 评估:计算每个数字平方后与目标值的差距(适应度)。
  3. 选择:选择表现最好(即与目标值差距最小)的数字。
  4. 交叉和变异:结合和修改选择出的数字以创建新的数字。
  5. 迭代:重复这个过程,直到找到足够接近目标值的解。

现在,我将用Python编写这个示例的代码。

经过25代的进化,我们找到了一个相当接近目标值42的解。这个最佳个体的值约为-6.842,其平方与42的差距仅为0.353。

这个简单的进化算法示例展示了如何通过初始化一个随机种群、计算适应度、选择最佳个体、进行交叉和变异,以及迭代这些步骤来逐步优化解决方案。当然,实际应用中的进化算法可能会更加复杂和精细,包括更高级的选择、交叉和变异策略,以及对不同类型问题的特定调整。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/214222.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 1631. 最小体力消耗路径:广度优先搜索BFS

【LetMeFly】1631.最小体力消耗路径:广度优先搜索BFS 力扣题目链接:https://leetcode.cn/problems/path-with-minimum-effort/ 你准备参加一场远足活动。给你一个二维 rows x columns 的地图 heights ,其中 heights[row][col] 表示格子 (ro…

视频如何提取文字?这四个方法一键提取视频文案

视频如何提取文字?你用过哪些视频提取工具?视频转文字工具,又称为语音识别软件,是一款能够将视频中的语音或对话转化为文字的实用工具。它运用了尖端的声音识别和语言理解技术,能精准地捕捉视频中的音频,并…

弧形导轨的工作原理

弧形导轨是一种能够将物体沿着弧形轨道运动的装置,它由个弧形轨道和沿着轨道运动的物体组成,弧形导轨的工作原理是利用轨道的形状和物体的运动方式来实现运动,当物体处于轨道上时,它会受到轨道的引导,从而沿着轨道的弧…

Nginx正则表达式

目录 1.nginx常用的正则表达式 2.location location 大致可以分为三类 location 常用的匹配规则 location 优先级 location 示例说明 优先级总结 3.rewrite rewrite功能 rewrite跳转实现 rewrite执行顺序 语法格式 rewrite示例 实例1: 实例2&#xf…

生活小记录

上个月项目总算上线了,节奏也慢慢调整正常。发现自己好久没有记录生活点滴了,正好写写。其实,最近这段日子发生的事情还是挺多的。 流感 媳妇11.24得流感,这件事情特别好笑,大晚上她和我妹妹想喝酒试试,结…

【Python必做100题】之第六题(求圆的周长)

圆的周长公式:C 2 * pi * r 代码如下: pi 3.14 r float(input("请输入圆的半径:")) c 2 * pi *r print(f"圆的周长为{c}") 运行截图: 总结 1、圆周长的公式:C 2 * pi * r 2、输出结果注意…

webrtc 工具类

直接上代码;webrtc 工具类 package com.example.mqttdome;import android.app.Activity; import android.content.Context; import android.content.Intent; import android.media.projection.MediaProjection; import android.media.projection.MediaProjectionMa…

API低代码开发平台的实际应用及好处

API低代码开发平台是一种快速开发工具,可以帮助企业快速构建和部署应用程序,并提供易于使用的API集成。 实际应用 API低代码开发平台的应用范围非常广泛,包括但不限于以下几个方面: 企业级应用程序开发:API低代码开发…

TypeScript中的类型缩小、类型谓词

一. 概览 TypeScript中的类型缩小的方式有typeof、in等方式进行类型缩小。 二. 类型缩小 typeof function test(a: string| number | string []) {if(a) {if(typeof a string) {} else if(typeof a number) {}} }in关键字 nterface ISideBar {hide: () >void }interf…

mybatis-plus查询的字段和mysql关键字重名

先看一下这个 TableField("show") 这个注解表示当前属性对应在数据库的字段为show,但是show在mysql中为关键字,直接查询会导致语法错误 正确写法应该是 但写sql由和mybatis-plus理念相违背, 并且无法轻松创建对应方法&#xff0…

第8课 SQL入门之使用数据处理函数

文章目录 8.1 函数8.2 使用函数8.2.1 文本处理函数8.2.2 日期和时间处理函数8.2.3 数值处理函数 表8-3 常用数值处理函数 这一课介绍什么是函数,DBMS支持何种函数,以及如何使用这些函数;还将讲解为什么SQL函数的使用可能会带来问题。 8.1 函数…

数据结构之----逻辑结构、物理结构

数据结构之----逻辑结构、物理结构 目前我们常见的数据结构分别有: 数组、链表、栈、队列、哈希表、树、堆、图 而它们可以从 逻辑结构和物理结构两个维度进行分类。 什么是逻辑结构? 逻辑结构是指数据元素之间的逻辑关系,而逻辑结构又分为…

HCIA-H12-811题目解析(5)

1、【单选题】 以下关于Hybrid端口说法正确的有? 2、【单选题】使用命令"vlan batch 10 20"和"valn batch 10 to 20",分别能创建的vlan数量是?() 3、【单选题】二层ACL的编号范围是?…

Scala日志log4j,序列化Gson

一、日志输出log4j 1. Scala中配置log4j依赖 对于 Maven 项目,可以在 pom.xml 文件中添加以下内容: <dependency><groupId>log4j</groupId><artifactId>log4j</artifactId><version>1.2.17</version> </dependency>2.创建…

VueUse工具库

VueUse VueUse不是Vue.use&#xff0c;它是为Vue 2和3服务的一套Vue Composition API的常用工具集&#xff0c;是目前世界上Star最高的同类型库之一。它的初衷就是将一切原本并不支持响应式的JS API变得支持响应式&#xff0c;省去程序员自己写相关代码。 VueUse 是一个基于 …

Java毕业设计 SSM SpringBoot 在线学习系统

Java毕业设计 SSM SpringBoot 在线学习系统 SSM SpringBoot 在线学习系统 功能介绍 首页 图片轮播 视频推荐 在线学习 学习介绍 评论 收藏 资料中心 资料详情 下载资料 话题讨论 文档发布 试题中心 系统公告 登录 注册学生 个人中心 试题记录 错题本 我的收藏 算法演示 结果分…

C语言 害死人不偿命的(3n+1)算法 挖掘机技术哪家强 选择排序 贪心算法

1.害死人不偿命的&#xff08;3n1)算法 卡拉兹( Calatz)猜想: 对任何一个自然数n,如果它是偶数,那么把它砍掉一半;如果它是奇数,那么把(3n1)砍掉一半。这样一直反复砍下去,最后一定在某一步得到n1。卡拉兹在1950年的世界数学家大会上公布了这个猜想,传说当时耶鲁大学师生齐动员…

持续集成交付CICD:Jenkins使用GitLab共享库实现前后端项目Sonarqube

目录 一、实验 1.Jenkins使用GitLab共享库实现后端项目Sonarqube 2.优化GitLab共享库 3.Jenkins使用GitLab共享库实现前端项目Sonarqube 4.Jenkins通过插件方式进行优化 二、问题 1.sonar-scanner 未找到命令 2.npm 未找到命令 一、实验 1.Jenkins使用GitLab共享库实现…

Vue学习笔记-Vue3中ref和reactive函数的使用

前言 为了让vue3中的数据变成响应式&#xff0c;需要使用ref,reactive函数 ref函数使用方式 导入ref函数 import {ref} from vue在setup函数中&#xff0c;将需要响应式的数据通过ref函数进行包装&#xff0c;修改响应式数据时&#xff0c;需要通过: ref包装的响应式对象.val…

Flink之迟到的数据

迟到数据的处理 推迟水位线推进: WatermarkStrategy.<Event>forBoundedOutOfOrderness(Duration.ofSeconds(2))设置窗口延迟关闭&#xff1a;.allowedLateness(Time.seconds(3))使用侧流接收迟到的数据: .sideOutputLateData(lateData) public class Flink12_LateDataC…