人工智能术语：

FFNN

FFNN：feedforward neural network，前馈神经网络；

RNN

RNN：Recurrent Neural Network，循环神经网络

CNN

CNN：Convolutional Neural Network，卷积神经网络

• 在处理视觉场景的时候，卷积神经网络动辄可以有几百层，通常会很深；但RNN往往是二层为主，最多也很少超过8层。原因其实在于RNN训练时是串行的，不易并行化。网络太深的话，训练起来会非常花时间。

• RNN的强项在于处理时序数据，每个时间步的输出都会依赖前一个时间步产生的隐向量，那么对于第t步，它必须得等到t-1步算完才能开始，无法并行处理。

LSTM

LSTM：Long Short-Term Memory，长短期记忆网络，长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。

GRU

门控循环单元（Gated Recurrent Unit，GRU）

MLP

MLP，多层感知器 Multiple-Layer Perceiver。

MLP是最基本的神经网络，属于前馈神经网络（Feedforward Neural Network)。在前馈神经网络中，信息在网络中从输入层（Input Layer）经过多个中间层（Hidden Layers）传递到输出层（Output Layer），并且信息在网络中只能向前传播，不会形成循环。前馈神经网络也被称为无记忆神经网络（Memoryless Neural Network），因为网络中没有存储之前计算的状态。

 BERT

BERT是一种语言表示模型，BERT代表来自Transformer的双向编码器表示（Bidirectional Encoder Representations from Transformers ）；

GPT

GPT的全称，是Generative Pre-Trained Transformer（生成式预训练Transformer模型）是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。

PTM

Pre-trained Model，PTM，预训练模型
如果想用一句话讲清楚“预训练“做了一件什么事，那我想这句话应该是“使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而能让模型对特定任务的学习负担变轻。”

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行的广义线性分类器（generalized linear classifier）。

NMT

神经机器翻译，Neural Machine Tranlation, 简称 NMT

AGI

AGI为Artificial General Intelligence的首字母缩写，意为人工通用智能。它是一种可以执行复杂任务的人工智能，能够完全模仿人类智能的行为，能够执行任何人类智能活动的计算机系统。AGI可以被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，进而解决任何问题而不需要人为干预。

Prompt

Prompt Engineer 又称为 In-Context Prompt，利用模型的ICL能力，代理传统Bert类模型的微调训练的方式，使用更为高效的Prompt来指导LLM，使其产生出期望的结果，而无需改变模型的权重。提示工程，指的是精心去设计提示词Prompt，以让语言模型可以生成我们想要的输出，最大的发挥语言模型的潜力。
Prompt工程不只是工程师们的异想天开：这是让大力出奇迹的超大型模型能在多种场合都有所作为的前置要件，也是通往AGI的必由之路。

 

Prompting，指的是给语言模型输入一段特定的文本（即提示词），从而引导模型去生成特定的我们想要的输出文本。他其实就类似我们在ChatGPT里打字的过程啦。

SFT

SFT是监督微调（Supervised Fine-Tun-ing）的缩写。这是一种常见的深度学习策略，通常在预训练的大语言模型上使用。

RLHF

RLHF（Reinforcement Learning fromHuman Feedback，人类反馈强化学习）起到的作用是，通过将人类的反馈纳入训练过程，为机器提供了一种自然的、人性化的互动学习过程。这就像人类从另一个专业人士身上学习专业知识的方式一样。通过和人类之间架起一座桥梁，RLHF让AI快速掌握了人类经验。在RLHF中，强化学习与人类反馈相结合，人类的偏好被用作奖励信号，以指导模型的训练，从而增强模型对人类意图的理解和满足程度。在生成模型中，RLHF还可以让生成的图像与文本提示得到充分对齐。