Transformers最初是由Google发布的论文 Attention is All You Need (2017) 提出的一种新的深度学习网络架构，这篇论文证明了序列模型（如 LSTM）可以完全被注意力机制取代，甚至可以获得更好的性能。Transformers网络结构自2017年提出之后仅仅一两年的时间内就一直在NLP领域及其子任务霸榜，目前的LLM大语言模型（ChatGPT、ChatGLM等）都是基于Transformers网络架构。Transformers不仅在NLP领域表现出色，自2020年开始，Transformers开始席卷CV领域，一度有碾压CV领域常用的CNN网络结构。

率先实现Transformers 网络模型架构的是 HuggingFace 的transformer库，因此，目前我们通过调用transformer库就可以帮助我们解决CV、NLP领域的绝大部分任务。transformers库中支持的任务包括：

['audio-classification', 'automatic-speech-recognition', 'conversational', 'depth-estimation', 'document-question-answering', 'feature-extraction', 'fill-mask', 'image-classification', 'image-segmentation', 'image-to-text', 'mask-generation', 'ner', 'object-detection', 'question-answering', 'sentiment-analysis', 'summarization&