论文：Multi-Head Encoding for Extreme Label Classification
作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang
单位：山东大学
代码：https://github.com/Anoise/MHE

论文地址：Online，ArXiv，GItHub

背景动机参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 1
基础知识参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 2
算法实现参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 3
表示能力参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4
实验结果参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 5
无需预处理见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 6

请各位同学给我点赞，激励我创作更好、更多、更优质的内容！^_^

关注微信公众号，获取更多资讯

1 预热

1.1 记号

为了表示简单，变量使用不同的字体表示：1)常量用大写字母表示，例如，$Y_i$是代表第$i$个样本的类别的常量，$C$表示类别的总数。2)向量用粗体大写字母表示，例如，$\mathbf{Y}$是$Y_i$的标签集，$\mathbf{O}$是头部的输出。3)矩阵用书法大写字母表示，例如$\mathcal{W}$表示分类器的权重，$\mathcal{F}$表示特征集的矩阵$\mathbf{F}$。4)张量也用大写字母表示，上标表示其顺序，例如，${\mathcal{Y}}^{1,\cdots ,H}$表示$H阶张量。通过上面的符号，读者可以很容易地区分每个变量的形状。

图 1 ：深度神经网络由三部分组成：输入、主干和分类器。在多头编码中，在训练期间将标签分解到多头分类器的输出上，并在测试中组合输出以获得预测标签。

1.2 分类器计算过载问题

本文所考虑的深度神经网络如图1所示，由输入、主干和分类器三部分组成。假设给定的样本-标签对是 { X i , Y i } i = 1 N \{\bm{X}_i, Y_i\}_{i=1}^N {Xi​,Yi​}i=1N​，其中$\mathbf{X}\in {\mathbb{R}}^{|\mathbf{X}|\times N}$和$\mathbf{Y}\in {\mathbb{R}}^{C\times 1}$分别是样本集和标签集。设${\bar{\mathbf{Y}}}_i$表示$Y_i$的编码（矢量化）标签。主干主要包括多层非线性神经元，记为$Net$。将$Net$的特征输出记为$\mathbf{F}$，将$\mathbf{F}$通过权值$\mathcal{W}$投影到${\mathbb{R}}^{C\times 1}$的部分就是分类头。输出$\mathbf{O}$和$\bar{\mathbf{Y}}$之间的损失记为$\mathcal{L}$。因此，单标签网络的转发过程可表示为
$$\begin{gathered} {\mathbf{F}}_i=Net({\mathbf{X}}_i),(1) \\ {\mathbf{O}}_i=\mathcal{W}{\mathbf{F}}_i+\mathbf{B},(2) \\ \mathcal{L}=-\sum _i^N{\bar{\mathbf{Y}}}_i^{T}log(\sigma ({\mathbf{O}}_i)),(3) \end{gathered}$$
其中$\sigma$为softmax函数，$\mathbf{B}\in {\mathbb{R}}^{C\times 1}$为输出层的偏置。对于XLC任务，等式2中$\mathbf{O}$的长度必须等于$C$，因为$|\mathbf{O}|\gg |\mathbf{F}|$\footnote[1]{$|\mathbf{F}|$ 一般在1K左右。}会导致计算过重，从而导致分类器计算过载问题（CCOP）。

2 多头编码（MHE）

2.1 标签分解

MHE中的标签分解包括将极端标签分解为多个易于处理的局部标签，然后将这些局部标签用于训练神经网络。为了更好地理解这个过程，本文可以将极值标签$Y_i$概念化为高维空间中的一个点。然后，将其正交坐标分量作为局部标记，训练多头神经网络。这个过程通过重用坐标位置减少了标签的编码长度，从而几何上减少了分类器的计算负荷。

图2：使用 MHE 的多头分类器的训练和测试过程。 (a) 在训练过程中，全局标签被分解为多个局部标签。 (b) 在测试期间，MHE 以与训练相反的方式工作。 © 用于测试的 MHE 的等效形式结合了多头分类器的局部预测以获得全局预测。注意，红色虚线框标注的操作是为了便于理解而使用的，并不是必须的。

标签分解过程的关键是如何将$Y_i$映射到$H$维空间。本文提出的解决方案是将$Y_i$视为一个单热编码向量${\mathbb{I}}_{Y_i}$，如图2-a所示。然后将其重塑为一个$H$维张量${\bar{\mathcal{Y}}}_i^{1,...,H}$。请注意，由于${\mathbb{I}}_{Y_i}$是一个单热向量，因此${\bar{\mathcal{Y}}}_i^{1,...,H}$及其组件 { Y ˉ i h } h = 1 H \{\bar{\bm Y}_i^h\}_{h=1}^H {Yˉih​}h=1H​都是单热编码的。因此，$Y_i$的分解过程可表示为
$${\mathbb{I}}_{Y_i}={\bar{\mathbf{Y}}}_i^1\otimes {\bar{\mathbf{Y}}}_i^2\otimes \cdots \otimes {\bar{\mathbf{Y}}}_i^H,(4)$$
其中$\otimes$是克罗内克产品。详细示例请参见附录1。等式4表示将极值标签分解为$H$个短单热向量的乘积，每个短单热向量的近似长度为$\sqrt[H]{C}$。因此，为每个头部分配每个局部标签来训练网络，将几何上减少分类器中的参数数量，从而解决CCOP问题。

2.2 多头组合（Multi-Head Combination）

上一小节展示了如何将极端标签分解成多个短的局部标签来训练模型。本小节展示了如何在测试期间组合多头的输出以恢复全局预测标签${\tilde{Y}}_i$（原始极端标签）。

实际上，测试过程中使用的组合运算是训练过程中使用的分解运算的逆运算。如图2-b所示，如果将每个头部的输出${\mathbf{O}}_i^h$视为一个坐标分量，则可以生成 { O i h } h = 1 H \{\bm{O}_i^h\}_{h=1}^H {Oih​}h=1H​，以形成$H$维空间中一个点的坐标。然后，通过将该点投影到整数轴上获得预测标签${\tilde{Y}}_i$
$${\tilde{Y}}_i=\Lambda ({\tilde{\mathbf{O}}}_i)=\Lambda ({\mathbf{O}}_i^1\otimes {\mathbf{O}}_i^2\otimes \cdots \otimes {\mathbf{O}}_i^H),(5)$$
其中$\Lambda$是Argmax操作。虽然${\tilde{Y}}_i$可以通过Eq. 5得到，但是${\tilde{\mathbf{O}}}_i$ （$|{\tilde{\mathbf{O}}}_i|=C$）和$H-1$的超长Kronecker产品操作将消耗巨大的计算和存储资源。因此，有必要简化式Eq. 5中的推理过程。

一个理想的解决方案是利用局部预测标签直接计算全局预测标签，即
$$\begin{gathered} {\hat{Y}}_i=\Lambda ({\bar{\mathbf{Y}}}_i)=\Lambda ({\mathbb{I}}_{{\tilde{Y}}_i^1}\otimes {\mathbb{I}}_{{\tilde{Y}}_i^2}\otimes \cdots \otimes {\mathbb{I}}_{{\tilde{Y}}_i^H}) \\ =\Lambda ({\mathbb{I}}_{\Lambda ({\mathbf{O}}_i^1)}\otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}_i^2)}\otimes \cdots \otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}_i^H)}),(6) \end{gathered}$$
其中${\mathbb{I}}_{\Lambda (\cdot )}$是矢量执行Argmax后的OHE。可以看出，等式6中的${\tilde{Y}}_i$是$H-1$单热编码向量的乘积，可以从局部标签及其长度计算得到
Y ~ i = f ( { Y ~ i h , ∣ O h ∣ } h = 1 H ) , ( 7 ) \tilde{Y}_i = f (\{\tilde{Y}_i^h, |O^h|\}_{h=1}^H) , \qquad (7) Y~i​=f({Y~ih​,∣Oh∣}h=1H​),(7)
其中$f$是待确定的函数。

虽然Eq. 6可以通过结合局部预测标签计算出全局预测标签，但它是否等同于Eq. 5 ？也就是说，${\hat{Y}}_i$是否等于${\tilde{Y}}_i$ ？实际上，等式6和等式5中的组合过程是等价的，可以用下面的定理来证明

Theorem 1: 对于多头分类器的输出 { O h } h = 1 H \{\bm{O}^h\}_{h=1}^H {Oh}h=1H​，本文有
$$\begin{gathered} \tilde{Y}=\Lambda ({\mathbf{O}}^1\otimes {\mathbf{O}}^2\otimes \cdots \otimes {\mathbf{O}}^H) \\ =\Lambda ({\mathbb{I}}_{\Lambda ({\mathbf{O}}^1)}\otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}^2)}\otimes \cdots \otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}^H)}).(8) \end{gathered}$$
定理1}的证明在附录A-1中给出。定理1证明了等式5和6是等价的，具有相同的表示能力。由于Eq. 6可以简化计算过程，因此使用MHE加速模型的速度是至关重要的。

此外，如果使用Eq. 5中带有MHE的多头分类器的输出$\tilde{\mathbf{O}}$来近似Eq. 2中带有OHE的普通分类器的输出$\mathbf{O}$，本文有以下推论。
Corollary 1: 如果$\mathbf{O}\approx \tilde{\mathbf{O}}={\mathbf{O}}^1\otimes {\mathbf{O}}^2\otimes \cdots \otimes {\mathbf{O}}^H$，本文有
$$\Lambda (\mathbf{O})=\Lambda ({\mathbb{I}}_{\Lambda ({\mathbf{O}}^1)}\otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}^2)}\otimes \cdots \otimes {\mathbb{I}}_{\Lambda ({\mathbf{O}}^H)}).(9)$$
推论1的证明见附录A-2。这个推论断言，如果原始分类器的输出被分解为多头分类器输出的近似值，那么两个分类器的预测是一致的。

背景动机参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 1
基础知识参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 2
算法实现参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 3
表示能力参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4
实验结果参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 5
无需预处理见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 6