使用Python实现深度学习模型：Transformer模型

Transformer模型自提出以来，已经成为深度学习领域，尤其是自然语言处理（NLP）中的一种革命性模型。与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，Transformer完全依赖于注意力机制来捕捉序列中的依赖关系。这使得它能够更高效地处理长序列数据。在本文中，我们将详细介绍Transformer模型的基本原理，并使用Python和TensorFlow/Keras实现一个简单的Transformer模型。

1. Transformer模型简介

Transformer模型由编码器（Encoder）和解码器（Decoder）组成，每个编码器和解码器层都由多头自注意力机制和前馈神经网络（Feed-Forward Neural Network）组成。

1.1 编码器（Encoder）

编码器的主要组件包括：

  • 自注意力层（Self-Attention Layer）：计算序列中每个位置对其他位置的注意力分数。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个位置的表示进行独立的非线性变换。

1.2 解码器（Decoder）

解码器与编码器类似，但有额外的编码器-解码器注意力层，用于捕捉解码器输入与编码器输出之间的关系。

1.3 注意力机制

注意力机制的核心公式如下：
在这里插入图片描述

2. 使用Python和TensorFlow/Keras实现Transformer模型

下面我们将使用Python和TensorFlow/Keras实现一个简单的Transformer模型，用于机器翻译任务。

2.1 安装TensorFlow

首先，确保安装了TensorFlow：

pip install tensorflow

2.2 数据准备

我们使用TensorFlow内置的英文-德文翻译数据集。

import tensorflow as tf
import tensorflow_datasets as tfds# 加载数据集
examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', with_info=True, as_supervised=True)
train_examples, val_examples = examples['train'], examples['validation']# 准备tokenizer
tokenizer_en = tfds.deprecated.text.SubwordTextEncoder.build_from_corpus((en.numpy() for pt, en in train_examples), target_vocab_size=2**13)
tokenizer_pt = tfds.deprecated.text.SubwordTextEncoder.build_from_corpus((pt.numpy() for pt, en in train_examples), target_vocab_size=2**13)# 定义tokenizer函数
def encode(lang1, lang2):lang1 = [tokenizer_pt.vocab_size] + tokenizer_pt.encode(lang1.numpy()) + [tokenizer_pt.vocab_size+1]lang2 = [tokenizer_en.vocab_size] + tokenizer_en.encode(lang2.numpy()) + [tokenizer_en.vocab_size+1]return lang1, lang2def tf_encode(pt, en):result_pt, result_en = tf.py_function(encode, [pt, en], [tf.int64, tf.int64])result_pt.set_shape([None])result_en.set_shape([None])return result_pt, result_en# 设置缓冲区大小
BUFFER_SIZE = 20000
BATCH_SIZE = 64# 预处理数据
train_dataset = train_examples.map(tf_encode)
train_dataset = train_dataset.cache()
train_dataset = train_dataset.shuffle(BUFFER_SIZE).padded_batch(BATCH_SIZE)
train_dataset = train_dataset.prefetch(tf.data.experimental.AUTOTUNE)val_dataset = val_examples.map(tf_encode)
val_dataset = val_dataset.padded_batch(BATCH_SIZE)

2.3 实现Transformer模型组件

我们首先实现一些基础组件，如位置编码（Positional Encoding）和多头注意力（Multi-Head Attention）。

2.3.1 位置编码

位置编码用于在序列中加入位置信息。

import numpy as npdef get_angles(pos, i, d_model):angle_rates = 1 / np.power(10000, (2 * (i // 2)) / np.float32(d_model))return pos * angle_ratesdef positional_encoding(position, d_model):angle_rads = get_angles(np.arange(position)[:, np.newaxis],np.arange(d_model)[np.newaxis, :],d_model)angle_rads[:, 0::2] = np.sin(angle_rads[:, 0::2])angle_rads[:, 1::2] = np.cos(angle_rads[:, 1::2])pos_encoding = angle_rads[np.newaxis, ...]return tf.cast(pos_encoding, dtype=tf.float32)
2.3.2 多头注意力
class MultiHeadAttention(tf.keras.layers.Layer):def __init__(self, d_model, num_heads):super(MultiHeadAttention, self).__init__()self.num_heads = num_headsself.d_model = d_modelassert d_model % self.num_heads == 0self.depth = d_model // self.num_headsself.wq = tf.keras.layers.Dense(d_model)self.wk = tf.keras.layers.Dense(d_model)self.wv = tf.keras.layers.Dense(d_model)self.dense = tf.keras.layers.Dense(d_model)def split_heads(self, x, batch_size):x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth))return tf.transpose(x, perm=[0, 2, 1, 3])def call(self, v, k, q, mask):batch_size = tf.shape(q)[0]q = self.wq(q)  # (batch_size, seq_len, d_model)k = self.wk(k)  # (batch_size, seq_len, d_model)v = self.wv(v)  # (batch_size, seq_len, d_model)q = self.split_heads(q, batch_size)  # (batch_size, num_heads, seq_len_q, depth)k = self.split_heads(k, batch_size)  # (batch_size, num_heads, seq_len_k, depth)v = self.split_heads(v, batch_size)  # (batch_size, num_heads, seq_len_v, depth)scaled_attention, attention_weights = self.scaled_dot_product_attention(q, k, v, mask)scaled_attention = tf.transpose(scaled_attention, perm=[0, 2, 1, 3])concat_attention = tf.reshape(scaled_attention, (batch_size, -1, self.d_model))output = self.dense(concat_attention)return output, attention_weightsdef scaled_dot_product_attention(self, q, k, v, mask):matmul_qk = tf.matmul(q, k, transpose_b=True)dk = tf.cast(tf.shape(k)[-1], tf.float32)scaled_attention_logits = matmul_qk / tf.math.sqrt(dk)if mask is not None:scaled_attention_logits += (mask * -1e9)attention_weights = tf.nn.softmax(scaled_attention_logits, axis=-1)output = tf.matmul(attention_weights, v)return output, attention_weights

2.4 构建Transformer模型

def point_wise_feed_forward_network(d_model, dff):return tf.keras.Sequential([tf.keras.layers.Dense(dff, activation='relu'),tf.keras.layers.Dense(d_model)])class EncoderLayer(tf.keras.layers.Layer):def __init__(self, d_model, num_heads, dff, rate=0.1):super(EncoderLayer, self).__init__()self.mha = MultiHeadAttention(d_model, num_heads)self.ffn = point_wise_feed_forward_network(d_model, dff)self.layernorm1 = tf.keras.layers.LayerNormalization(epsilon=1e-6)self.layernorm2 = tf.keras.layers.LayerNormalization(epsilon=1e-6)self.dropout1 = tf.keras.layers.Dropout(rate)self.dropout2 = tf.keras.layers.Dropout(rate)def call(self, x, training, mask):attn_output, _ = self.mha(x, x, x, mask)attn_output = self.dropout1(attn_output, training=training)out1 = self.layernorm1(x + attn_output)ffn_output = self.ffn(out1)ffn_output = self.dropout2(ffn_output, training=training)out2 = self.layernorm2(out1 + ffn_output)return out2class DecoderLayer(tf.keras.layers.Layer):def __init__(self, d_model, num_heads, dff, rate=0.1):super(DecoderLayer, self).__init__()self.mha1 = MultiHeadAttention(d_model, num_heads)self.mha2 = MultiHeadAttention(d_model, num_heads)self.ffn = point_wise_feed_forward_network(d_model, dff)self.layernorm1 = tf.keras.layers.LayerNormalization(epsilon=1e-6)self.layernorm2 = tf.keras.layers.LayerNormalization(epsilon=1e-6)self.layernorm3 = tf.keras.layers.LayerNormalization(epsilon=1e-6)self.dropout1 = tf.keras.layers.Dropout(rate)self.dropout2 = tf.keras.layers.Dropout(rate)self.dropout3 = tf.keras.layers.Dropout(rate)def call(self, x, enc_output, training, look_ahead_mask, padding_mask):attn1, attn_weights_block1 = self.mha1(x, x, x, look_ahead_mask)attn1 = self.dropout1(attn1, training=training)out1 = self.layernorm1(x + attn1)attn2, attn_weights_block2 = self.mha2(enc_output, enc_output, out1, padding_mask)attn2 = self.dropout2(attn2, training=training)out2 = self.layernorm2(out1 + attn2)ffn_output = self.ffn(out2)ffn_output = self.dropout3(ffn_output, training=training)out3 = self.layernorm3(out2 + ffn_output)return out3, attn_weights_block1, attn_weights_block2class Encoder(tf.keras.layers.Layer):def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, rate=0.1):super(Encoder, self).__init__()self.d_model = d_modelself.num_layers = num_layersself.embedding = tf.keras.layers.Embedding(input_vocab_size, d_model)self.pos_encoding = positional_encoding(maximum_position_encoding, d_model)self.enc_layers = [EncoderLayer(d_model, num_heads, dff, rate) for _ in range(num_layers)]self.dropout = tf.keras.layers.Dropout(rate)def call(self, x, training, mask):seq_len = tf.shape(x)[1]x = self.embedding(x)x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32))x += self.pos_encoding[:, :seq_len, :]x = self.dropout(x, training=training)for i in range(self.num_layers):x = self.enc_layers[i](x, training, mask)return xclass Decoder(tf.keras.layers.Layer):def __init__(self, num_layers, d_model, num_heads, dff, target_vocab_size, maximum_position_encoding, rate=0.1):super(Decoder, self).__init__()self.d_model = d_modelself.num_layers = num_layersself.embedding = tf.keras.layers.Embedding(target_vocab_size, d_model)self.pos_encoding = positional_encoding(maximum_position_encoding, d_model)self.dec_layers = [DecoderLayer(d_model, num_heads, dff, rate) for _ in range(num_layers)]self.dropout = tf.keras.layers.Dropout(rate)def call(self, x, enc_output, training, look_ahead_mask, padding_mask):seq_len = tf.shape(x)[1]attention_weights = {}x = self.embedding(x)x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32))x += self.pos_encoding[:, :seq_len, :]x = self.dropout(x, training=training)for i in range(self.num_layers):x, block1, block2 = self.dec_layers[i](x, enc_output, training, look_ahead_mask, padding_mask)attention_weights[f'decoder_layer{i+1}_block1'] = block1attention_weights[f'decoder_layer{i+1}_block2'] = block2return x, attention_weightsclass Transformer(tf.keras.Model):def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size, target_vocab_size, pe_input, pe_target, rate=0.1):super(Transformer, self).__init__()self.encoder = Encoder(num_layers, d_model, num_heads, dff, input_vocab_size, pe_input, rate)self.decoder = Decoder(num_layers, d_model, num_heads, dff, target_vocab_size, pe_target, rate)self.final_layer = tf.keras.layers.Dense(target_vocab_size)def call(self, inp, tar, training, enc_padding_mask, look_ahead_mask, dec_padding_mask):enc_output = self.encoder(inp, training, enc_padding_mask)dec_output, attention_weights = self.decoder(tar, enc_output, training, look_ahead_mask, dec_padding_mask)final_output = self.final_layer(dec_output)return final_output, attention_weights# 设置Transformer参数
num_layers = 4
d_model = 128
dff = 512
num_heads = 8
input_vocab_size = tokenizer_pt.vocab_size + 2
target_vocab_size = tokenizer_en.vocab_size + 2
dropout_rate = 0.1# 创建Transformer模型
transformer = Transformer(num_layers, d_model, num_heads, dff, input_vocab_size, target_vocab_size, pe_input=1000, pe_target=1000, rate=dropout_rate)

2.5 定义损失函数和优化器

loss_object = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True, reduction='none')def loss_function(real, pred):mask = tf.math.logical_not(tf.math.equal(real, 0))loss_ = loss_object(real, pred)mask = tf.cast(mask, dtype=loss_.dtype)loss_ *= maskreturn tf.reduce_sum(loss_)/tf.reduce_sum(mask)optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

2.6 训练模型

# 定义train_step
@tf.function
def train_step(inp, tar):tar_inp = tar[:, :-1]tar_real = tar[:, 1:]enc_padding_mask, look_ahead_mask, dec_padding_mask = create_masks(inp, tar_inp)with tf.GradientTape() as tape:predictions, _ = transformer(inp, tar_inp, True, enc_padding_mask, look_ahead_mask, dec_padding_mask)loss = loss_function(tar_real, predictions)gradients = tape.gradient(loss, transformer.trainable_variables)optimizer.apply_gradients(zip(gradients, transformer.trainable_variables))return loss# 训练模型
EPOCHS = 20
for epoch in range(EPOCHS):total_loss = 0for (batch, (inp, tar)) in enumerate(train_dataset):batch_loss = train_step(inp, tar)total_loss += batch_lossprint(f'Epoch {epoch+1}, Loss: {total_loss/len(train_dataset)}')

3. 总结

在本文中，我们详细介绍了Transformer模型的基本原理，并使用Python和TensorFlow/Keras实现了一个简单的Transformer模型。通过本文的教程，希望你能够理解Transformer模型的工作原理和实现方法，并能够应用于自己的任务中。随着对Transformer模型的理解加深，你可以尝试实现更复杂的变种，如BERT和GPT等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/23952.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

BIM分析简明教程

BIM分析简明教程

大多数建筑师和工程师都会遇到过建筑信息模型 (BIM) 的概念。 这是一种可以为你的公司带来巨大利益的方法。 建筑信息模型允许你集中项目的信息。 你可以将所有相关数据集中到一个数据库中，而不是处理大量文档。 这样做的好处是显而易见的。 随着你的项目变得越来越…
阅读更多...
SQL自动发送邮件的方法有哪些？如何配置？

SQL自动发送邮件的方法有哪些？如何配置？

SQL自动发送邮件设置时的注意事项？邮件群发如何操作？ 在现代企业中，自动化流程越来越普遍，SQL自动发送邮件作为其中一项重要功能，能够大大提高工作效率并简化数据管理流程。AokSend将介绍几种实现SQL自动发送邮件的方…
阅读更多...
JVM基础知识

JVM基础知识

一、JVM的内存区域划分 一个进程在运行的时候,会向操作系统申请到内存资源,从来存放程序运行的相关数据。 JVM本质上就是一个java进程,在运行的时候也会从操作系统那搞一块内存，供Java代码执行使用。 JVM又把申请的一块内存根据不同的用途划分出了不同区域。 每一…
阅读更多...
酷我音乐 v10.8.2.1 解索SVIP版，畅享无界音乐盛宴！

酷我音乐 v10.8.2.1 解索SVIP版，畅享无界音乐盛宴！

酷我音乐 v10.8.2.1 解索SVIP版 酷我音乐，一款多功能音乐软件，集成了音乐播放、歌曲下载、歌词同步、在线电台等多项服务。该应用致力于提供高品质的音乐欣赏体验和独特的音乐探索机会，无论用户身处何地。此外，它还支持大量付费高…
阅读更多...
eNSP学习——配置RIP抑制接口及单播更新

eNSP学习——配置RIP抑制接口及单播更新

目录 主要命令 原理概述 实验目的 实验内容 实验拓扑 实验编址 实验步骤 1、基本配置 2、搭建基础的RIP网络 3、配置RIP抑制接口，优化公司网络 4、配置RIP单播更新,恢复网络通信 5、验证另一种抑制接口方式 需要eNSP各种配置命令的点击链接自取&#xf…
阅读更多...
day52 123.买卖股票的最佳时机III 188.买卖股票的最佳时机IV

day52 123.买卖股票的最佳时机III 188.买卖股票的最佳时机IV

123.买卖股票的最佳时机III 关键在于至多买卖两次，这意味着可以买卖一次，可以买卖两次，也可以不买卖。 动态规划五部曲 1.确定dp数组以及下标的含义 一天一共就有五个状态， 没有操作 （其实我们也可以不设置这个状态&a…
阅读更多...
Docker 国内镜像源更换

Docker 国内镜像源更换

实现 替换docker 镜像源 前提要求 安装 docker docker-compose 参考创建一键更换docker国内源 vim /docker_daemon.sh #!/bin/bash # -*- coding: utf-8 -*- # Author: make.han # Email: CIASM@CIASM # Date: 2024/06/07 # docker daemon.jsondaemon_json_file="/et…
阅读更多...
[网络基础]——计算机网络(OSI)参考模型 详解

[网络基础]——计算机网络(OSI)参考模型 详解

🏡作者主页：点击！ 🌐网络通信基础TCP/IP专栏：点击！ ⏰️创作时间：2024年6月2日21点59分 🀄️文章质量：93分 目录 🎟️OSI基本概念 🎄分层架构…
阅读更多...
使用Qt实现文本文件的读写操作

使用Qt实现文本文件的读写操作

文章目录 文本读写简介QFileDialog简介常用方法示例代码 QFile简介常用方法示例代码 QTextStream简介常用方法示例代码 结合使用示例完整示例代码(读写操作，可直接复制运行我使用的Qt版本为QT5.14)mainwindow.hmainwindow.cppmain.cpp代码解释 文本读写简介 在现代…
阅读更多...
前端经典面试手写题

前端经典面试手写题

前端面试中常会遇到的手写题主要考察应聘者对前端基础知识的掌握程度以及编程能力。以下是一些经典的前端手写题及其解答思路： 手写深拷贝（Deep Clone） 深拷贝是指复制一个对象及其所有子对象，使得新的对象和原对象完全独立。 …
阅读更多...
聊聊DoIP吧(二）-报文结构和时间参数

聊聊DoIP吧(二）-报文结构和时间参数

书接上回，DoIP报文及其在以太网帧中的位置：图片来自Vector官网 这里我们来看看DoIP报文结构： DoIP协议时间参数详解 - 知乎 (zhihu.com)
阅读更多...
实验三-8086指令的应用《计算机组成原理》

实验三-8086指令的应用《计算机组成原理》

一、实验目的 掌握8086指令的应用 二、实验原理 三、实验仪器 计算机1台，emu8086软件。 四、实验步骤 1、建立00H～0FH～00H 31个数，00H～0FH数据逐渐增大,0FH～00H逐渐减小，即DI指针所表示的地…
阅读更多...
linux进程间通讯指南-打通IPC大门,高效沟通无阻

linux进程间通讯指南-打通IPC大门,高效沟通无阻

在现代操作系统中，进程就像独立的个体，有时需要相互合作、数据共享，这就要求进程间能够高效通信。本文将为你揭开Linux进程间通信(IPC)的神秘面纱，探讨各种IPC工具的运作原理，同步机制的重要性，以及如何规避…
阅读更多...
手动安装Nvidia驱动和CUDA Toolkit

手动安装Nvidia驱动和CUDA Toolkit

1、打开cuda-toolkit 网站 CUDA Toolkit Archive | NVIDIA Developer 根据自己需要选择CUDA Toolkit版本，这里选择12.0.0 2、点击链接跳转到下载页面，选择操作系统类型和安装包类型 3、下载CUDA Toolkit 安装包 4、执行下载命令 wget https://develo…
阅读更多...
【C语言】学生管理系统：完整模拟与实现

【C语言】学生管理系统：完整模拟与实现

🌈个人主页：是店小二呀 🌈C语言笔记专栏：C语言笔记 🌈C笔记专栏： C笔记 🌈喜欢的诗句:无人扶我青云志 我自踏雪至山巅 🔥引言 本篇文章为修改了在校期间实训报告，使用C…
阅读更多...
停止一个正在运行的线程

停止一个正在运行的线程

暴力停止方法 stop 该方法是不安全的，已经过时的方法，在其方法描述上 This method is inherently unsafe，这个方法实际上是不安全的 package com.alibaba.fescar.core.protocol.test;public class TestThreadStop {public static void main(S…
阅读更多...
基于STM32开发的智能水族箱管理系统

基于STM32开发的智能水族箱管理系统

目录 引言环境准备智能水族箱管理系统基础代码实现：实现智能水族箱管理系统 4.1 温度传感器数据读取4.2 水泵与加热器控制4.3 水位传感器数据读取4.4 用户界面与显示应用场景：水族箱管理与优化问题解决方案与优化收尾与总结 1. 引言 智能水族箱管理系…
阅读更多...
day51 动态规划 121. 买卖股票的最佳时机 122.买卖股票的最佳时机II

day51 动态规划 121. 买卖股票的最佳时机 122.买卖股票的最佳时机II

121. 买卖股票的最佳时机 动态规划 1.确定dp数组（dp table）以及下标的含义 dp[i][0] 表示第i天持有股票所得最多现金 ，这里可能有同学疑惑，本题中只能买卖一次，持有股票之后哪还有现金呢？ 其实一开始现…
阅读更多...
我们正迈向万物互联

我们正迈向万物互联

物联网（Internet of Things，IoT）是近年来信息技术领域最引人注目的创新之一。它通过将物理世界与数字世界紧密相连，为我们的日常生活、工业生产、城市管理等多个领域带来了前所未有的变革。本文将深入探讨物联网的基本概念、技术原…
阅读更多...
Java 18 新功能概述

Java 18 新功能概述

Java 18 在 2022 年 3 月 22 日正式发布，Java 18 不是一个长期支持版本。 包含多项新特性和改进，如文件系统链接、文本块、表达式求值API、ForkJoinPool优化、Optional新方法等。 亮点还包括预览特性：Record Pattern Matching for Switch和增…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023