AIGC实战——GPT(Generative Pre-trained Transformer)

AIGC实战——GPT

    • 0. 前言
    • 1. GPT 简介
    • 2. 葡萄酒评论数据集
    • 3. 注意力机制
      • 3.1 查询、键和值
      • 3.2 多头注意力
      • 3.3 因果掩码
    • 4. Transformer
      • 4.1 Transformer 块
      • 4.2 位置编码
    • 5. 训练GPT
    • 6. GPT 分析
      • 6.1 生成文本
      • 6.2 注意力分数
    • 小结
    • 系列链接

0. 前言

注意力机制能够用于构建先进的文本生成模型,Transformer 是用于序列建模的强大神经网络,该神经网络不需要复杂的循环或卷积架构,而只依赖于注意力机制。这种方法克服了循环神经网络 (Recurrent Neural Network, RNN) 方法难以并行化的缺陷( RNN 必须逐符号处理序列)。Transformers 高度可并行化运算,能够在大规模数据集上进行训练。在本节中,我们将学习文本生成模型如何利用 Transformer 架构提高文本性能,并介绍自回归模型 GPT (Generative Pre-Trained transformer)。

1. GPT 简介

OpenAI2018 年提出 GPT (Generative Pre-Trained transformer),将 Transformer 架构用于训练大规模文本数据,以预测序列数据中的下一个单词,然后再针对特定的下游任务进行微调。
GPT 的预训练过程使用大型文本语料库 BookCorpus (来自 7000 本不同类型书籍的 4.5GB 文本)训练模型。在预训练过程中,模型会根据先前的单词预测序列中的下一个单词,这一过程称为语言建模 (language modeling),用于训练模型理解自然语言的结构和模式。
在预训练之后,通过使用一个特定任务的小规模数据集,可以对 GPT 模型进行微调。微调表示调整模型的参数以更好地适应当前任务。例如,可以针对分类、问答等任务对模型进行微调。
OpenAIGPT 架构进行了改进和扩展,后续提出了 GPT-2GPT-3GPT-3.5GPT-4 等模型。这些模型在更大的数据集上进行训练,具有更大的容量,因此可以生成更复杂、更连贯的文本,GPT 模型已经被广泛应用于自然语言处理相关任务中。
在本节中,我们将使用相同的组件和基本原理构建 GPT 模型,不同的是,我们使用较少的数据进行训练。

2. 葡萄酒评论数据集

在本节中,使用 Kaggle 中的葡萄酒评论数据集训练 GPT 模型,数据集中包含超过 130,000 条葡萄酒评论,以及相关描述和价格等元数据。
可以在 Kaggle 中下载数据集,解压后,将葡萄酒评论和相关元数据保存到 ./data 文件夹中。数据准备流程与使用 LSTM 训练生成模型中所用的数据准备步骤相同:

  • 加载数据并创建一个包含所有葡萄酒文本描述的字符串列表
  • 用空格分隔标点符号,以便每个标点符号被视为一个单独的单词
  • 通过 TextVectorization 层将字符串进行分词,并将每个字符串填充/截断为固定长度
  • 创建训练集,其中输入是分词后的文本字符串,输出是将相同字符串向后移动一个符号的字符串

数据预处理

3. 注意力机制

理解 GPT 工作原理的第一步是理解注意力机制 (attention mechanism),注意力机制使得 Transformer 架构在语言建模方面与循环神经网络有所不同。理解了注意力机制后,便能了解如何在 Transformer 架构(如 GPT )中使用注意力机制。
当我们写作时,句子中的下一个单词受到已经写完的其他单词的影响。例如,假设以以下方式开始一个句子:

"The write elephant tried to get into the boat but it was too"

显然,下一个词应该是与 “big” 意思相近的单词。句子中的其他词对于下一单词的选择非常重要。例如,它是 elephant 而不是 bird,这意味着我们更倾向于选取 “big” 而不是 “small”,如果句中使用 “pool” 而不是 “boat”,我们可能会选择 “scared” 替代 “big”。最后,把 “elephant” 放进小船里意味着尺寸是问题所在,如果大象试图摧毁小船,我们可能会选择 “flexible” 作为最后一个词,其中 “it” 指的是 “boat”。
除此之外,句子中的其他词则并不重要。例如,大象是 “white” 或“black”对于选择最后一个词没有任何影响。同样,句子中的其他单词,如 thebutit 等,为句子构成了正确的语法形式,但对于确定下一个所需单词并不重要。换句话说,我们只关注句子中的某些单词,而对其他词只付出少量关注,我们希望深度学习模型同样能够做到这一点。
Transformer 中的注意力机制(也称为注意力头)就是为了实现这一目的。它能够决定在输入中从哪些部分中获取信息,以便高效地提取有用的信息而不被无关细节所干扰。这使得它能够适应各种情况,因为它可以在推理时决定在哪些部分中寻找信息。
相比之下,循环层试图构建一个通用的隐藏状态,用以在每个时间步捕捉输入的整体表示。这种方法的一个缺点是,合并到隐藏向量中的许多单词对于当前任务(如预测下一个单词)可能并不直接相关。注意力头则可以避免此问题,因为它们可以选择如何结合上下文的信息。

3.1 查询、键和值

接下来,我们介绍注意力机制如何决定在哪里寻找信息,我们继续使用上一节中所用示例。
为了能够预测单词 “too” 之后的内容,前面的其他单词都会有所贡献,但它们的贡献取决于它们对于预测 “too” 后续单词的能力的自信程度。例如,单词 “elephant” 可能会自信地贡献出与尺寸相关的词,而单词 “was” 没有提供太多的信息来缩小可能性。
换句话说,我们可以将注意力头看作一种信息检索系统,其中查询(“接在 too 之后的词是什么?”)被转化为键/值存储(句子中的其他单词),输出结果是值的总和,并根据查询与每个键之间的相关度进行加权。此过程详细步骤如下图所示,我们的仍然使用上一节所用示例。

注意力机制

查询 (query, Q) 可以表示当前任务(例如,“接在 too 之后的词是什么?”)。在本例中,通过将单词 “too” 的嵌入传递到权重矩阵 W Q W_Q WQ 中,从维度 d e d_e de 变换为维度 d k d_k dk,得到了查询。
键向量 (key, K) 是句子中每个单词的表示,可以将其视为每个单词可以帮助完成的预测任务的贡献。它们与查询的产生方式类似,通过将每个嵌入传递到权重矩阵 W K W_K WK 中,将每个向量的维度从 d e d_e de 变换为 d k d_k dk,键和查询的长度相同。
在注意力头中,使用每对向量 ( Q K Q_K QK) 之间的点积将每个键与查询进行比较(这就是键和查询必须具有相同的长度的原因)。键/查询对的点积结果数值越高,键与查询的相关度就越强,因此允许它对注意力头的输出做出更大的贡献。得到的向量乘以 d k d_k dk,以保持向量和的方差稳定(大约等于 1),并应用 softmax 函数确保贡献总和为 1,这便是注意力权重向量。
值向量 (value, V) 也是句子中单词的表示,可以将其视为每个单词的未加权贡献。通过将每个嵌入传递到权重矩阵 W V W_V WV 中,将每个向量的维度从 d e d_e de 变换为 d v d_v dv,得到值向量。需要注意的是,值向量不一定与键和查询具有相同的长度(但通常为简单起见,使用相同长度)。
值向量乘以注意力权重,得到给定 Q Q Q K K K V V V 的注意力:
A t t e n t i o n ( Q , K , V ) = s o f t m a x ( Q K T d k ) V Attention(Q,K,V)=softmax(\frac {QK^T} {\sqrt {d_k}})V Attention(Q,K,V)=softmax(dk QKT)V
为了从注意力头获得最终输出向量,将注意力进行求和,得到长度为 d v d_v dv 的向量。这个上下文向量捕捉了句子中的单词对于预测接在 too 之后的词的任务的共同意见。

3.2 多头注意力

Keras 中,可以构建 MultiHeadAttention 层,该层将多个注意力头的输出连接起来构成多头注意力 (Multihead Attention),允许每个头学习不同的注意力机制,以便整个层可以学习更复杂的关系。
连接后的输出通过最终的权重矩阵 W O W_O WO 进行投影,将向量投影到期望的输出维度上。在本节下,输出维度与查询的输入维度相同 ( d e d_e de),以便可以将层按顺序堆叠在一起。下图显示了 MultiHeadAttention 层输出的构建方式。

多头注意力

Keras 中创建 MultiHeadAttention 层:

layers.MultiHeadAttention(# 此多头注意力层有四个注意力头num_heads = 4,# 键(和查询)是长度为 128 的向量key_dim = 128,# 值(也是每个头的输出)是长度为 64 的向量value_dim = 64,# 输出向量的长度为 256output_shape = 256
)

3.3 因果掩码

在以上介绍中,我们假设注意力头的查询输入是一个单一的向量。然而,为了在训练期间提高效率,理想情况下我们希望注意力层能够同时处理输入中的每个单词,为每个单词预测后续的单词。换句话说,我们希望我们的 GPT 模型能够同时处理一组查询向量(即矩阵)。
为了将向量批处理成一个矩阵,并使用线性代数进行处理,我们需要一个额外的步骤,我们需要对查询/键的点积应用掩码,以避免未来单词的信息泄漏,这称为因果掩码 (Causal Masking),如下图所示。

因果掩码

如果没有这个掩码,GPT 模型将能够完美地猜出句子中的下一个单词,因为它将使用来自单词本身的键作为一个特征。使用 Keras 创建因果掩码,下图显示了 Numpy 形式的结果数组(为了与图相匹配,将结果数组进行了转置)。

def causal_attention_mask(batch_size, n_dest, n_src, dtype):i = tf.range(n_dest)[:, None]j = tf.range(n_src)m = i >= j - n_src + n_destmask = tf.cast(m, dtype)mask = tf.reshape(mask, [1, n_dest, n_src])mult = tf.concat([tf.expand_dims(batch_size, -1), tf.constant([1, 1], dtype=tf.int32)], 0)return tf.tile(mask, mult)print(np.transpose(causal_attention_mask(1, 10, 10, dtype=tf.int32)[0]))

因果掩码仅在解码器 Transformer(如 GPT )中需要,在这些模型中,任务是根据先前的符号顺序生成符号,在训练期间掩码掉未来的符号是至关重要的。
其他类型的 Transformer (例如编码器 Transformer )不需要因果掩码,因为它们不是通过预测下一个符号来训练的。例如,GoogleBERT 在给定句子中预测待填空的单词,因此它可以使用该词前后的上下文。
Transformer 中的多头注意力机制中,层的可学习参数仅由每个注意力头的三个权重矩阵 ( W Q W_Q WQ W K W_K WK W V W_V WV) 和一个用于重塑输出的权重矩阵 ( W O W_O WO) 组成,在多头注意力层中完全没有卷积或循环机制。
下一节中,我们将介绍如何使用多头注意力层构建 Transformer 块。

4. Transformer

4.1 Transformer 块

Transformer 块是 Transformer 内的一个组件,它在多头注意力层间应用了跳跃连接、前馈(全连接)层 (Feed-forward layers) 和归一化,Transformer 块的结构如下图所示。

Transformer 块

首先,将查询传递到多头注意力层并直接添加到输出中,这是一种跳跃连接,可以用其构建非常深的神经网络,而不会受到梯度消失问题的影响,因为跳跃连接提供了一个无梯度的数据通道,使网络能够直接传递信息。
其次,在 Transformer 块中的层归一化用于提高训练过程的稳定性。我们已经介绍了如何使用批归一化层,在批归一化中,每个通道的输出被归一化为均值为 0,标准差为 1,归一化统计信息是根据批和空间维度计算的。
而在 Transformer 块中的层归一化通过在通道维度上计算归一化统计信息,对批数据中每个序列的每个位置进行归一化。就统计信息的计算方式而言,它与批归一化完全相反,下图展示了批归一化和层归一化之间的差异。
层归一化常用于基于文本的任务中,以避免在批处理中跨序列创建归一化依赖关系。然而,Shen 等人表明在 Transformer 内部可以使用一种形式的批归一化进行调整,从而优于传统的层归一化方法。

层归一化

最后,在 Transformer 块中包含了一组前馈(全连接)层( Feed-forward layers ),以使组件能够在网络中深入提取更高级别的特征。
使用 Keras 实现一个 Transformer 块。

class TransformerBlock(layers.Layer):# 在初始化函数中定义构成 TransformerBlock 层的子层def __init__(self, num_heads, key_dim, embed_dim, ff_dim, dropout_rate=0.1):super(TransformerBlock, self).__init__()self.num_heads = num_headsself.key_dim = key_dimself.embed_dim = embed_dimself.ff_dim = ff_dimself.dropout_rate = dropout_rateself.attn = layers.MultiHeadAttention(num_heads, key_dim, output_shape=embed_dim)self.dropout_1 = layers.Dropout(self.dropout_rate)self.ln_1 = layers.LayerNormalization(epsilon=1e-6)self.ffn_1 = layers.Dense(self.ff_dim, activation="relu")self.ffn_2 = layers.Dense(self.embed_dim)self.dropout_2 = layers.Dropout(self.dropout_rate)self.ln_2 = layers.LayerNormalization(epsilon=1e-6)def call(self, inputs):input_shape = tf.shape(inputs)batch_size = input_shape[0]seq_len = input_shape[1]# 创建因果掩码,以隐藏查询中未来的键causal_mask = causal_attention_mask(batch_size, seq_len, seq_len, tf.bool)# 创建多头注意力层,并指定注意力掩码attention_output, attention_scores = self.attn(inputs,inputs,attention_mask=causal_mask,return_attention_scores=True,)attention_output = self.dropout_1(attention_output)# 第一个 add 和归一化层out1 = self.ln_1(inputs + attention_output)# 前馈层ffn_1 = self.ffn_1(out1)ffn_2 = self.ffn_2(ffn_1)# 第二个 add 和归一化层ffn_output = self.dropout_2(ffn_2)return (self.ln_2(out1 + ffn_output), attention_scores)

4.2 位置编码

在训练 GPT 模型之前,还有一个最后一步需要处理。在多头注意力层中,并没有关注键的顺序。每个键与查询之间的点积是并行计算的,而非像循环神经网络那样顺序计算。这样可以并行化处理以提高效率,但也带来了一个问题,因为我们需要注意力层能够考虑文本的上下文信息,例如,针对以下两个句子预测不同的输出:

The dog looked at the boy and … (barked?)
The boy looked at the dog and … (smiled?)

为了解决这个问题,在创建初始的 Transformer 块的输入时,我们使用一种称为位置编码 (positional encoding) 的技术。我们不仅使用符号嵌入 (token embedding) 来编码每个符号,还使用位置嵌入 (position embedding) 来编码符号的位置。
符号嵌入使用标准的嵌入层将每个符号转换为一个可学习向量。我们可以使用相同的方式创建位置编码,使用标准的嵌入层将每个整数位置转换为一个可学习向量。虽然 GPT 使用嵌入层来嵌入位置信息,但原始 Transformer 论文使用三角函数。
为了构建联合的符号-位置编码,将符号嵌入添加到位置嵌入中,如下图所示。这样,就可以在一个向量中同时捕捉序列中每个词的含义和位置信息。

位置编码

使用 Keras 定义 TokenAndPositionEmbedding 层:

class TokenAndPositionEmbedding(layers.Layer):def __init__(self, max_len, vocab_size, embed_dim):super(TokenAndPositionEmbedding, self).__init__()self.max_len = max_lenself.vocab_size = vocab_sizeself.embed_dim = embed_dim# 符号使用 Embedding 层获取嵌入self.token_emb = layers.Embedding(input_dim=vocab_size, output_dim=embed_dim)# 符号的位置同样使用 Embedding 层获取嵌入self.pos_emb = layers.Embedding(input_dim=max_len, output_dim=embed_dim)def call(self, x):maxlen = tf.shape(x)[-1]positions = tf.range(start=0, limit=maxlen, delta=1)positions = self.pos_emb(positions)x = self.token_emb(x)# TokenAndPositionEmbedding 层的输出是符号嵌入和位置嵌入之和return x + positions

5. 训练GPT

接下来,构建并训练 GPT 模型。将输入文本通过符号和位置嵌入层,然后通过 Transformer 块,网络的最终输出是一个使用 softmax 激活函数的 Dense 层,输出的维度是词汇表中的单词数。为了简单起见,我们仅使用一个 Transformer块( GPT 论文中使用 12 个),整体架构如下图所示。

GPT架构

使用 Keras 实现此架构:

# 用 0 填充输入
inputs = layers.Input(shape=(None,), dtype=tf.int32)
# 文本使用 TokenAndPositionEmbedding 层获取嵌入
x = TokenAndPositionEmbedding(MAX_LEN, VOCAB_SIZE, EMBEDDING_DIM)(inputs)
# 嵌入通过 TransformerBlock 进行传递
x, attention_scores = TransformerBlock(N_HEADS, KEY_DIM, EMBEDDING_DIM, FEED_FORWARD_DIM)(x)
# 转换后的输出通过使用 softmax 激活函数的 Dense 层进行传递,以预测后续单词的分布
outputs = layers.Dense(VOCAB_SIZE, activation="softmax")(x)
# 模型以单词符号序列作为输入,并输出预测的后续单词分布。还返回了 Transformer 块的输出,以便检查模型中注意力机制的作用
gpt = models.Model(inputs=inputs, outputs=[outputs, attention_scores])
# 模型使用 SparseCategoricalCrossentropy 损失函数编译并训练
gpt.compile("adam", loss=[losses.SparseCategoricalCrossentropy(), None])
print(gpt.summary())
gpt.fit(train_ds,epochs=EPOCHS,)

6. GPT 分析

训练 GPT 模型后,就可以使用 GPT 生成长文本,还可以获取 TransformerBlock 输出的注意力权重,以了解 Transformer 在生成过程中不同位置寻找信息的方式。

6.1 生成文本

我们可以通过以下过程生成新文本:

  • 将现有的单词序列输入到网络中,以预测下一个单词
  • 将此单词附加到现有序列中,并重复此过程

从网络输出的一组概率中进行抽样,使文本生成过程具有随机性,而不是确定性的。
为了控制采样过程的确定性程度,重用 LSTM 文本生成中的 TextGenerator 类,其使用温度参数来指定采样过程中的确定性程度,使用两个不同的温度值对比生成结果。温度为 1.0 的生成文本比温度为 0.5 的样本具有更高的随机性,因此准确率较低。由于模型从方差较大的概率分布中进行抽样,因此使用温度为 1.0 生成多个样本将具有更多的多样性。

6.2 注意力分数

我们还可以令模型输出,在决定句子中的下一个单词时,每个单词的注意力分数。TransformerBlock 输出每个注意力头的注意力权重,该权重是句子中前面单词的 softmax 分布。
为了进行说明,下图显示了对于三个不同的输入,具有最高概率的前五个符号,以及相对于前面每个单词,两个注意力头的平均注意力。根据其注意力分数对前面的单词进行着色,较深的颜色表示对该单词的注意力更高。

注意力分数

以这种方式查看网络,可以准确地了解网络从何处获取信息,以便对随后的每个单词做出准确预测。通过修改输入,观察是否可以使模型关注到句子中相距较远的单词,以充分证明基于注意力的模型相对于传统的循环模型更强大。

小结

在本节中,我们介绍了 Transformer 模型架构,并构建了一个 GPT 模型,以实现文本生成。GPT 利用了注意力机制,消除了对循环层(如长短时记忆网络)的需求。注意力机制类似于一个信息检索系统,利用查询、键和值来决定从每个输入符号中提取多少信息。

系列链接

AIGC实战——生成模型简介
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——自编码器(Autoencoder)
AIGC实战——变分自编码器(Variational Autoencoder, VAE)
AIGC实战——使用变分自编码器生成面部图像
AIGC实战——生成对抗网络(Generative Adversarial Network, GAN)
AIGC实战——WGAN(Wasserstein GAN)
AIGC实战——条件生成对抗网络(Conditional Generative Adversarial Net, CGAN)
AIGC实战——自回归模型(Autoregressive Model)
AIGC实战——改进循环神经网络
AIGC实战——像素卷积神经网络(PixelCNN)
AIGC实战——归一化流模型(Normalizing Flow Model)
AIGC实战——能量模型(Energy-Based Model)
AIGC实战——扩散模型(Diffusion Model)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/736216.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【网络原理】TCP 协议中比较重要的一些特性(一)

目录 1、TCP 协议 2、确认应答 2.1、确认序号 3、超时重传 4、连接管理 4.1、建立连接(三次握手) 4.2、断开连接(四次挥手) 1、TCP 协议 TCP 是工作中最常用到的协议,也是面试中最常考的协议,具有面…

Electron程序如何在MacOS下获取相册访问权限

1.通过entitiment.plist,在electron-builder签名打包时,给app包打上签名。最后可以通过codesign命令进行验证。 TestPhotos.plist electron-builder配置文件中加上刚刚的plist文件。 通过codesign命令验证,若出现这个,则说明成…

Fortran语法介绍(三)

个人专栏—ABAQUS专栏 Abaqus2023的用法教程——与VS2022、oneAPI 2024子程序的关联方法 Abaqus2023的用法教程——与VS2022、oneAPI 2024子程序的关联方法Abaqus有限元分析——有限元网格划分基本原则 Abaqus有限元分析——有限元网格划分基本原则各向同性线弹性材料本构模型…

《手把手教你》系列技巧篇(二十七)-java+ selenium自动化测试- quit和close的区别(详解教程)

1.简介 尽管有的小伙伴或者童鞋们觉得很简单,不就是关闭退出浏览器,但是宏哥还是把两个方法的区别说一下,不然遇到坑后根本不会想到是这里的问题。 2.源码 本文介绍webdriver中关于浏览器退出操作。driver中有两个方法是关于浏览器关闭&…

SQL28 计算用户8月每天的练题数量

👨‍💻 大唐coding:个人主页 🎁 个人专栏: 《力扣高频刷题宝典》《SQL刷题记录》 ⛵ 既然选择远方,当不负青春,砥砺前行! 大家好,我是大唐,今天我们来做一道牛客题库SQL…

MySQL-----存储过程

▶ 介绍 存储过程是事先经过编译并存储在数据库中的一段SQL语句的集合,调用存储过程可以简化应用开发人员的很多工作,减少数据在数据库和应用服务器之间的传输,对于提高数据处理的效率是有好处的。 存储过程思想上很简单,…

C switch 语句

一个 switch 语句允许测试一个变量等于多个值时的情况。每个值称为一个 case,且被测试的变量会对每个 switch case 进行检查。 语法 C 语言中 switch 语句的语法: switch(expression){case constant-expression :statement(s);break; /* 可选的 */ca…

C语言中的UTF-8编码转换处理

C语言UTF-8编码的转换 1.C语言简介2.什么是UTF-8编码?2.1 UTF-8编码特点: 3.C语言中的UTF-8编码转换处理步骤1:获取UTF-8编码的字节流步骤2:解析UTF-8编码步骤3:Unicode码点转换为汉字 4.总结 1.C语言简介 C语言是一门…

【面试精讲】Java线程6种状态和工作原理详解,Java创建线程的4种方式

Java线程6种状态和工作原理详解,Java创建线程的4种方式 目录 一、Java线程的六种状态 二、Java线程是如何工作的? 三、BLOCKED 和 WAITING 的区别 四、start() 和 run() 源码分析 五、Java创建线程的所有方式和代码详解 1. 继承Thread类 2. 实现…

Node-RED在Linux二次开发网关中能源数据实时采集与优化

智能电网与分布式能源系统已成为推动绿色能源转型的重要载体。为了更好地应对多样化的能源供给与需求挑战,以及实现更高效的能源管理,Linux二次开发网关与Node-RED这一创新组合应运而生。 Linux二次开发网关作为高度定制化的硬件平台,其开源特…

【深入理解LRU Cache】:缓存算法的经典之作

目录 一、什么是LRU Cache? 二、LRU Cache的实现 1.JDK中类似LRUCahe的数据结构LinkedHashMap 2.自己实现双向链表 三、LRU Cache的OJ 一、什么是LRU Cache? LRU Cache(Least Recently Used的缩写,即最近最少使用&#xff0…

跨平台是什么意思?——跟老吕学Python编程

跨平台是什么意思?——跟老吕学Python编程 跨平台跨平台释义跨平台软件数据库管理系统(DBMS):网站服务器、应用程序服务器:网络浏览器: 跨平台编程语言跨平台详细解说跨平台应用前景 跨平台 计算机领域术语 跨平台概念是软件开发中…

Zookeeper详解

1.Zookeeper概述 1.Zookeeper概念 Zookeeper是 Apache Hadoop 项目下的一个子项目,是一个树形目录服务 Zookeeper 翻译过来就是动物园管理员,他是用来管 Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员。简称zk Hadoop: 存储海…

canvas实现水印逻辑分析

目录 效果图一、相关文档二、分析三、实现1、将水印文字转为水印图片2、给刚生成的水印图片加入旋转以及间隔(1)旋转位移(2)间隔位移(3)最后使用toDataURL导出为png图片 3、将生成的水印图片依次排布在需要…

【Python数据结构与判断2/7】数据和判断小结

目录 序言 print() 变量 赋值 四种数据类型 字符串 格式化输出 四则运算 取整与取模 比较运算 逻辑运算 判断 if语句 if-else语句 if-elif-else语句 Tips 空值、0、非0非空值 实战案例 输入密码 短信模板 总结 序言 今天将对前面学过的内容进行一个复习小结…

科技引领品质:飞利浦智能锁“12年免费换新机”重塑行业新标杆

随着智能锁行业的竞争愈发火热,各大品牌在技术创新和服务升级方面不断推陈出新。售后服务的形态正发生深刻变化,从传统的保修维修到如今的技术支持、24小时在线客服等,各大品牌都在不断地提升售后服务水平,以创新的服务理念和先进…

配置与管理DNS服务器

配置与管理DNS服务器 **1,什么是DNS?**负责将域名转换成实际想对应的ip地址,这个过程交域名解析。 **2,域名解析的方法:**分布式,层次结构的数据库系统。根域,顶级域,二级域&#…

sql注入基础学习

1.常用SQL语句 01、显示数据库 show databases; 02、打开数据库 use db name; 03、显示数据表 show tables; 04、显示表结构 describe table_name; 05、显示表中各字段信息,即表结构 show columns from table_nam…

面向对象的编程语言是什么意思?——跟老吕学Python编程

面向对象的编程语言是什么意思?——跟老吕学Python编程 面向对象是什么意思?面向对象的定义面向对象的早期发展面向对象的背景1.审视问题域的视角2.抽象级别3.封装体4.可重用性 面向对象的特征面向对象的开发方法面向对象程序设计基本思想实现 面向对象的…

数据结构-稀疏数组

文章目录 1、什么是稀疏数组?2、稀疏数组的存储流程3、代码实现4、运行结果 1、什么是稀疏数组? 当一个数组中大部分元素为0,或者为同一个值的数组时,可以使用稀疏数组来保存该数组。 2、稀疏数组的存储流程 记录数组一共有几行…