自动问答（QA）
自动问答（QA）的功能介绍
自动问答（Question-Answering, QA） 是自然语言处理中的一项任务，用于从给定的上下文中找到问题的答案。基于 Hugging Face 的 pipeline，可以快速实现以下类型的问答功能：
-
抽取式 QA（Extractive QA）：
- 根据上下文，在其中直接抽取文本片段作为答案。
- 例如：从句子中找到“你在哪里工作？”的问题答案。
-
多选式 QA（Multiple-choice QA）：
- 给定多个答案选项，模型选择最合适的选项。
- 类似阅读理解的选择题。
-
无约束 QA（Free-form QA）：
- 基于生成式模型（如 GPT 系列），不需要明确的上下文，模型生成自由格式的答案。
本示例展示的是抽取式 QA**，即模型根据给定的上下文从中抽取直接答案。
answer = question_answerer
answer = question_answerer( question="Where do I work?", context="My name is Sylvain and I work at Hugging Face in Brooklyn.", )
功能：
- 使用问答模型回答问题。
- 参数说明：
question： 要回答的问题（Where do I work?）。context： 提供的上下文文本，其中包含问题答案。
工作流程：
- 模型将问题和上下文一起输入，分析语义关系。
- 从上下文中抽取与问题最相关的片段作为答案。
使用的默认模型
默认模型：distilbert-base-cased-distilled-squad
-
模型特点：
- 基于
DistilBERT，一个轻量化的 BERT 版本。 - 在 SQuAD 数据集（Stanford Question Answering Dataset）上微调。
- 专注于抽取式问答任务，能够从上下文中提取具体答案。
- 基于
-
适用场景：
- 有明确上下文和问题，答案可以直接从上下文中提取。
自动问答的类型扩展
抽取式 QA（Extractive QA）
- 定义： 从上下文中直接提取答案。
- 特点： 模型无法生成上下文中不存在的答案。
- 本示例即为抽取式 QA。
多选式 QA（Multiple-choice QA）
- 定义： 给定问题和答案选项，模型选择最适合的选项。
无约束 QA（Free-form QA）
- 定义： 在没有明确上下文的情况下生成答案。
自动摘要
自动摘要 是一种自然语言处理任务，旨在从长文本中提取主要信息并生成较短的摘要，同时尽量保留原文的核心内容和关键信息。
分类：
-
抽取式摘要（Extractive Summarization）：
- 直接从原文中提取句子或短语。
- 优点：结果可靠，句子语法正确。
- 缺点：可能缺乏连贯性。
-
生成式摘要（Abstractive Summarization）：
- 模型通过理解原文，生成新的文本，可能与原文句子完全不同。
- 优点：语言更自然，摘要更连贯。
- 缺点：可能出现事实错误。
Hugging Face 提供的 pipeline("summarization") 使用的是生成式摘要模型。
使用的默认模型
默认模型：sshleifer/distilbart-cnn-12-6
- 模型特点：
- 基于 BART（Bidirectional and Auto-Regressive Transformer）的精简版。
- 在 CNN/Daily Mail 数据集上微调，擅长从新闻和长文本中生成摘要。
- 模型轻量，生成速度快，适合处理较长的输入文本。
摘要长度控制
- 默认情况下，摘要的长度是由模型内部配置决定的。
- 可以通过以下参数调整生成摘要的长度：
max_length： 控制摘要的最大长度（以词或 token 计）。min_length： 控制摘要的最小长度。
示例：
results = summarizer(
text,
max_length=50, # 限制摘要最多 50 个词
min_length=25 # 限制摘要至少 25 个词
)
