第一部分 词法
一、说明
Gensim是一种Python库，用于从文档集合中提取语义主题、建立文档相似性模型和进行向量空间建模。它提供了一系列用于处理文本数据的算法和工具，包括主题建模、相似性计算、文本分类、聚类等。在人工智能和自然语言处理领域，Gensim是一个流行的工具，用于处理大量的文本和语料库。
该模块使用高度优化的 C 例程、数据流和 Pythonic 接口来实现 word2vec 系列算法。
word2vec 算法包括skip-gram 和 CBOW 模型，使用分层 softmax 或负采样：Tomas Mikolov 等人：Efficient Estimation of Word Representations in Vector Space，Tomas Mikolov 等人：Distributed Representations of Words and Phrases and their Compositionality。
二、其他嵌入
在 Gensim 中训练词向量的方法有很多，而不仅仅是 Word2Vec。另请参见
- Doc2Vec：通过分布式内存和分布式词袋模型学习段落和文档嵌入
（models.doc2vec – Doc2vec paragraph embeddings — gensim (radimrehurek.com)）
- FastText：该模块允许从训练语料库中训练词嵌入，并具有获取词汇表外单词的词向量的附加功能。
（models.fasttext – FastText model — gensim (radimrehurek.com)）。
训练算法最初是从 C 包 https://code.google.com/p/word2vec/ 移植的，多年来通过附加功能和优化进行了扩展。
有关 Gensim word2vec 的教程以及在 GoogleNews 上训练的交互式网络应用程序，请访问 https://rare-technologies.com/word2vec-tutorial/。
三、使用示例
初始化模型，例如：
from gensim.test.utils import common_texts
from gensim.models import Word2Vec
>>>
model = Word2Vec(sentences=common_texts, vector_size=100, window=5, min_count=1, workers=4)
model.save("word2vec.model")训练是流式传输的，因此“句子”可以是可迭代的，可以即时从磁盘或网络读取输入数据，而无需将整个语料库加载到 RAM 中。
请注意，可迭代的句子必须是可重新启动的（而不仅仅是生成器），以允许算法多次流式传输数据集。有关流式可迭代的一些示例，请参阅 BrownCorpus、Text8Corpus 或 LineSentence。
如果保存模型，您可以稍后继续训练它：
model = Word2Vec.load("word2vec.model")
model.train([["hello", "world"]], total_examples=1, epochs=1)
(0, 2)训练好的词向量存储在 KeyedVectors 实例中，如 model.wv：
vector = model.wv['computer'] # get numpy vector of a word
sims = model.wv.most_similar('computer', topn=10) # get other similar words将训练好的向量分离到 KeyedVector 中的原因是，如果您不再需要完整的模型状态（不需要继续训练），则可以丢弃其状态，只保留向量及其键。
这会产生一个更小、更快的对象，可以进行映射以实现闪电般的快速加载并在进程之间共享 RAM 中的向量：
from gensim.models import KeyedVectors
>>>
# Store just the words + their trained embeddings.
word_vectors = model.wv
word_vectors.save("word2vec.wordvectors")
>>>
# Load back with memory-mapping = read-only, shared across processes.
wv = KeyedVectors.load("word2vec.wordvectors", mmap='r')
>>>
vector = wv['computer'] # Get numpy vector of a wordGensim 还可以加载“word2vec C 格式”的词向量，作为 KeyedVectors 实例：
from gensim.test.utils import datapath
>>>
# Load a word2vec model stored in the C *text* format.
wv_from_text = KeyedVectors.load_word2vec_format(datapath('word2vec_pre_kv_c'), binary=False)
# Load a word2vec model stored in the C *binary* format.
wv_from_bin = KeyedVectors.load_word2vec_format(datapath("euclidean_vectors.bin"), binary=True)由于隐藏权重、词汇频率和二叉树缺失，无法继续训练从 C 格式加载的向量。要继续训练，您需要完整的 Word2Vec 对象状态（由 save() 存储），而不仅仅是 KeyedVector。
您可以使用经过训练的模型执行各种 NLP 任务。一些操作已经内置 - 请参阅 gensim.models.keyedvectors。
如果您完成了模型的训练（即不再更新，仅查询），您可以切换到 KeyedVectors 实例：
word_vectors = model.wv
del model修剪不需要的模型状态 = 使用更少的 RAM 并允许快速加载和内存共享 (mmap)。
四、多词 Ngram 的嵌入
有一个 gensim.models.phrases 模块，可让您使用搭配统计自动检测长于一个单词的短语。使用短语，您可以学习 word2vec 模型，其中“单词”实际上是多词表达式，例如 new_york_times 或 Financial_crisis：
from gensim.models import Phrases
>>>
# Train a bigram detector.
bigram_transformer = Phrases(common_texts)
>>>
# Apply the trained MWE detector to a corpus, using the result to train a Word2vec model.
model = Word2Vec(bigram_transformer[common_texts], min_count=1)五、预训练模型
Gensim 在 Gensim 数据存储库中附带了几个已经预先训练的模型：
import gensim.downloader
# Show all available models in gensim-data
print(list(gensim.downloader.info()['models'].keys()))
['fasttext-wiki-news-subwords-300','conceptnet-numberbatch-17-06-300','word2vec-ruscorpora-300','word2vec-google-news-300','glove-wiki-gigaword-50','glove-wiki-gigaword-100','glove-wiki-gigaword-200','glove-wiki-gigaword-300','glove-twitter-25','glove-twitter-50','glove-twitter-100','glove-twitter-200','__testing_word2vec-matrix-synopsis']
>>>
# Download the "glove-twitter-25" embeddings
glove_vectors = gensim.downloader.load('glove-twitter-25')
>>>
# Use the downloaded vectors as usual:
glove_vectors.most_similar('twitter')
[('facebook', 0.948005199432373),('tweet', 0.9403423070907593),('fb', 0.9342358708381653),('instagram', 0.9104824066162109),('chat', 0.8964964747428894),('hashtag', 0.8885937333106995),('tweets', 0.8878158330917358),('tl', 0.8778461217880249),('link', 0.8778210878372192),('internet', 0.8753897547721863)](系列文章后续： ...... )
综述(二)：开发大语言模型的公开可用资源)
)
)
