【NLP高频面题 - 词嵌入篇】为什么说Word2vec的词向量是静态的？

重要性：★★

---

NLP Github 项目：

• NLP 项目实践：fasterai/nlp-project-practice

  介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

• AI 藏经阁：https://gitee.com/fasterai/ai-e-book

  介绍：该仓库主要分享了数百本 AI 领域电子书

• AI 算法面经：fasterai/nlp-interview-handbook#面经

  介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

• NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

  介绍：该仓库汇总了 NLP 算法工程师高频面题

---

Word2vec词向量是通过Embedding Lookup查询获得词的向量，和输入文本的内容无关，所以说Word2vec的词向量是静态的。

Word2vec训练的词向量是词的查询表。表中每一行都存储了一个特定词语的向量值，每一列的第一个元素都代表着这个词本身，以便于我们进行词和向量的映射（如“我”对应的向量值为 [0.3，0.5，0.7，0.9，-0.2，0.03] ）。给定任何一个或者一组单词，我们都可以通过查询操作实现把单词转换为向量的目的，这个查询和替换过程称之为Embedding Lookup。

词向量查询表：

在进行神经网络计算的过程中，需要大量的算力，常常要借助特定硬件（如GPU）满足训练速度的需求。GPU上所支持的计算都是以张量（Tensor）为单位展开的，因此在实际场景中，我们需要把Embedding Lookup的过程转换为张量计算，如下图所示。

张量计算示意图：

词汇量是 100 万个，嵌入维度 100，则使用one-hot查表（Embedding）过程如下：

---

NLP 大模型高频面题汇总

NLP基础篇

• 【NLP 面试宝典 之 模型分类】 必须要会的高频面题

• 【NLP 面试宝典 之 神经网络】 必须要会的高频面题

• 【NLP 面试宝典 之 主动学习】 必须要会的高频面题

• 【NLP 面试宝典 之 超参数优化】 必须要会的高频面题

• 【NLP 面试宝典 之 正则化】 必须要会的高频面题

• 【NLP 面试宝典 之 过拟合】 必须要会的高频面题

• 【NLP 面试宝典 之 Dropout】 必须要会的高频面题

• 【NLP 面试宝典 之 EarlyStopping】 必须要会的高频面题

• 【NLP 面试宝典 之 标签平滑】 必须要会的高频面题

• 【NLP 面试宝典 之 Warm up 】 必须要会的高频面题

• 【NLP 面试宝典 之 置信学习】 必须要会的高频面题

• 【NLP 面试宝典 之 伪标签】 必须要会的高频面题

• 【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题

• 【NLP 面试宝典 之 交叉验证】 必须要会的高频面题

• 【NLP 面试宝典 之 词嵌入】 必须要会的高频面题

• 【NLP 面试宝典 之 One-Hot】 必须要会的高频面题

• …

BERT 模型面

• 【NLP 面试宝典 之 BERT模型】 必须要会的高频面题

• 【NLP 面试宝典 之 BERT变体】 必须要会的高频面题

• 【NLP 面试宝典 之 BERT应用】 必须要会的高频面题

• …

LLMs 微调面

• 【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题

• 【NLP 面试宝典 之 Prompt】 必须要会的高频面题

• 【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题

• 【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题

• 【NLP 面试宝典 之 Chain-of-Thought微调】 必须要会的高频面题

• …