文章目录
- 作用
- 全局解读
作用
Transformer最初设计用于处理序列数据,特别在NLP(自然语言处理)领域取得了巨大成功
全局解读
Transformer来源于谷歌的一篇经典论文Attention is All you Need
在此使用Transformer在机器翻译中的运用来讲解Transformer。
其中Transformer可以分为Encoders、Decoders两部分。Encoders由多个Encoder组成,其中每个Encoder的结构完全相同,但是参数各不相同。Decoders同理。
分析原论文给出的Transformer原理图也可以得出同样的结果。
特别的,Encoders中的Encoder是并行的,每个Encoders都独立的处理输入序列的不同部分,而不需要等待前一个Encoder完成处理。