争取比ChatGPT多知道一点，如何创建和使用embedding？

如何生成embedding？

这个问题很简单，可以直接问ChatGPT。即使是3.5的版本，也可以得到不错的回复：

我这里贴一下它给出的代码，首先是TensorFlow2版本：

在这里插入图片描述

接着是pytorch版本：

在这里插入图片描述

这两个版本的embedding创建过程大同小异，都有现成的api可以使用。传入的参数也类似，两个值，一个是vocab_size，表示的embedding的数量。简单理解就是你需要创建的embedding的值的数量，另外一个embedding_dim，表示的embedding的长度，也就是向量的长度。

这个api内部会生成一个二维的矩阵，这不是固定的，在一些问题当中也会有三维甚至更高维度的embedding池。只不过二维的embedding池更常见。

假设我们创建了之后的embedding池是这样的：

这里一共有四行，五列。对应到上面的参数，vocab_size就是4，embedding_dim则是5.

当我们要获取embedding的时候，传入的是下标，比如我们传入[1]，那么会得到向量[1, 11, 21, 31, 41]。我们也可以传入多个下标，这样得到的就是多个embedding组成的矩阵。比如我们传入[0, 3]，那么就会得到[[0, 1, 2, 3, 4], [3, 13, 23, 33, 43]]。

原理我们讲完了，接下来来分析问题。

最大的问题是embedding的数量是固定的，当我们遇到了没有出现过的下标的时候，该怎么办？

比如训练样本当中某个值最多只有10个，我们使用了大小10的embedding池。然而在预测的时候，突然遇到了没出现过的取值，这个时候该怎么办？

我们肯定是不可能放任这种情况不管的，因为这会让模型报错崩溃，得不到任何结果。

比较常用的办法是专门设置一个embedding作为默认情况，当出现之前没有出现过的值的时候，就用默认值来代替。比如我们可以把下标0空出来，然后将训练样本中出现比较稀疏的值都映射到0上，这样假如我们在预测的时候遇到了之前没有出现过的取值的时候，就使用0来代替。

由于模型在训练的时候，0就起到了默认值的作用，因此即使碰到了训练样本中没有出现过的离群值也不会太影响模型的效果。

另外一种方法当然是事先预留buffer，将embedding的大小设置得较大一些。这样即使遇到了个别离群值，也不会让模型崩溃。但embedding池的大小并不是随意设置的，这是需要消耗存储的。尤其是如果我们使用GPU作为训练的话，那么显存是非常有限的。如果embedding池过大，会导致显存不够，所以并不是越大越好的。

第二个问题就是稀疏性，在涉及到频率的问题上，28定律非常常见。可能20%的embedding占据了训练样本的80%，这就导致了会有很大一部分embedding非常稀疏，在训练样本中出现次数极少。

以电商场景举例，有一些id特征是非常稀疏的，比如商品id，用户id等。动辄上亿甚至数十亿，而其中大量都是非常低频的，只有少量极其高频。比如大促时的一些爆款商品，可能占到总体订单的10%甚至更多。这就导致了即使不考虑显存的问题，这些大量且低频的embedding由于在样本中出现次数太少，没有办法学习到一个很好的表达。

这个问题也是业界难题，据我所知暂时还没有特别好的办法。在工业场景当中，一个广泛使用的方法是共享embedding。也就是说我们把embedding数量设置得远小于特征的取值数量，比如上亿的商品id，我们只使用十万级的embedding来表达。通过哈希的方法，让一些不同的id映射到同一个向量上。

由于embedding共享，显然这会导致模型损失一些表达能力影响效果。但反过来说，这种做法一方面解决了显卡显存的问题，一方面让一些稀疏的特征值对应的embedding多少能学习到一定的表达，至少比初始化随机赋值的向量要好。

当然，如果财大气粗的话，这也不一定是问题。特征出现的频率稀疏就使用数据量来弥补，一周的数据不够就用一个月，一个月还不够就一年，往上堆数据直到够为止……当然这么大的embedding对显存会是一个很大的考验，肯定是不可能单机训练的，必须要使用分布式训练技术来优化。

由于GPU价格比较昂贵，国内很多大公司采用的是大量CPU集群的办法。比如某度的广告系统，就是用的大规模分布式，动辄成千上万台机器一起训练，不管你来多少embedding都能存的下……

ChatGPT使用大量样本，并且支持多种语言，内部的embedding数量肯定也是一个天文数字。openai在这个问题上有没有优化，有了进展再给大家分享。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述