NLP自从Transformer模型出现后，处理方式有大统一的趋势，首先回答几个基础问题：

1、自然语言处理究竟要做一件什么事呢？自然语言处理最终解决的是分类问题，但是它不仅仅输出一个分类的预测结果，关键的在于构建一个聪明的模型，不光能学习不同数据集的问题，还能处理不同类别的问题。

2、如何培养模型的学习能力？自然语言处理就像我们读书一样，要训练它的阅读能力、学习能力、理解能力，给出的是一系列阅读材料，然后想办法让它理解语言，不仅仅是一个分类的专项技能，这里就涉及到注意力机制了，通过设置学习任务每一段只关注其中部分语料，并分配好权重，通过训练得到比较好的效果。之后基于注意力模型搭建复杂的神经网络，以获取强大的学习能力。

3、NLP中的核心门派：BERT系(五岳剑派)，GPT系(魔教)，BERT有点像做完形填空，GPT有点像写小作文。现在NLP已到了大模型时代，已经在拼海量的数据量和参数，目前GPT系列已经取得很大成功，但是是大模型，个人要训练很是很麻烦的，也有些开源的大模型，先从调优做起！

4、如何开始NLP呢？引出这个问题，也是Huggingface的关键理念了，历史上有很多NLP的算法，但是实事已经证明大部分没啥用，有用的就是Transformer这一系列的模型了，而Huggingface就是集大成者于一身，包括了当下NLP所有核心模型，只需要一行代码就可以调用BERT模型，GPT模型及其训练好的权重参数！其次，Huggingface它不仅是一个工具包，更是一个社区，也是NLP大佬们的舞台。当然kaggle也是个不错的平台，结合着用！

一、Huggingface调用示例

Huggingface这个包基本调用即可，先安装包pip install：

pip install transformers

开箱即用，方便：

import warnings
warnings.filterwarnings("ignore")
from transformers import pipeline#用人家设计好的流程完成一些简单的任务
classifier = pipeline("sentiment-analysis")
classifier(["I've been waiting for a HuggingFace course my whole life.","I hate this so much!",]
)

结果：

[{'label': 'POSITIVE', 'score': 0.9598049521446228},{'label': 'NEGATIVE', 'score': 0.9994558691978455}]

测试很方便，如果有包不好下载，找镜像、先download安装包之后再安装。

二、基本流程概述