发表于:ICML23
推荐指数: #paper/⭐
(个人不太喜欢他的行文方法,有部分内容有点让人看不懂)
总结:很常见的套路:构造同配视图+异配视图,进行同配传播+异配传播,然后利用类对比损失,类重构损失进行两次联合训练,最后利用KL散度联合优化
思路:
异配图的搭建:
W ˉ = 1. − W , A ˉ = 1. − A , H = W ˉ ⊙ A ˉ , \bar{W}=1.-W,\\\bar{A}=1.-A,\\H=\bar{W}\odot\bar{A}, Wˉ=1.−W,Aˉ=1.−A,H=Wˉ⊙Aˉ,
相似性矩阵的重构:
min S i : ∑ j = 1 N S i j ∥ x i − x j ∥ 2 \min_{S_{\boldsymbol{i}:}}\sum_{j=1}^NS_{\boldsymbol{i}j}\left\|x_i-x_j\right\|^2 Si:minj=1∑NSij∥xi−xj∥2
min S i : ∑ j = 1 N S i j ∥ x i − x j ∥ 2 + S i j 2 . \min_{S_{i:}}\sum_{j=1}^NS_{ij}\left\|x_i-x_j\right\|^2+S_{ij}^2. Si:minj=1∑NSij∥xi−xj∥2+Sij2.
图过滤器
F = ( I − 1 2 L ) k X , F=(I-\frac12L)^kX, F=(I−21L)kX,
但是,上述式子只考虑了同配图。因此,引入异配视图
F = μ ( 1 2 L H ) k X + ( 1 − μ ) ( I − 1 2 L S ) k X F=\mu(\frac12L_H)^kX+(1-\mu)(I-\frac12L_S)^kX F=μ(21LH)kX+(1−μ)(I−21LS)kX
双图聚类网络:
Z F = E θ F ( F ) , Z A = E θ A ( A ) . Z_{F}=E_{\theta_{F}}(F),\\Z_{A}=E_{\theta_{A}}(A). ZF=EθF(F),ZA=EθA(A).
Z F Z_{F} ZF代表特征映射, Z A Z_{A} ZA代表结构映射
之后,使用CR损失:
L C R = 1 d 2 ∑ ( M − I ~ ) 2 = 1 d 2 ∑ i = 1 d ( M i i − 1 ) 2 + 1 d 2 − d ∑ i = 1 d ∑ j ≠ i M i j 2 , \begin{aligned} \mathcal{L}_{CR}& =\frac1{d^2}\sum\left(\mathbf{M}-\widetilde{\mathbf{I}}\right)^2 \\ &=\frac1{d^2}\sum_{i=1}^d\left(\mathbf{M}_{ii}-1\right)^2+\frac1{d^2-d}\sum_{i=1}^d\sum_{j\neq i}\mathbf{M}_{ij}^2, \end{aligned} LCR=d21∑(M−I )2=d21i=1∑d(Mii−1)2+d2−d1i=1∑dj=i∑Mij2,
(如果不理解,可以理解为对比损失。建议将对比损失和这个一起思考,就可以搞明白对比损失的实质了。这个损失是常用的套路)
其中:
M i j = Z A i ⊤ Z F j ∥ Z A i ∥ ⋅ ∥ Z F j ∥ . M_{ij}=\frac{Z_{Ai}^\top Z_{Fj}}{\|Z_{Ai}\|\cdot\|Z_{Fj}\|}. Mij=∥ZAi∥⋅∥ZFj∥ZAi⊤ZFj.
第二步,又引入了SCE损失作为特征F的重构损失,并用 β \beta β来控制缩放率
L S C E = ∑ i = 1 N ( 1 − F i ⊤ F ˉ i ∥ F i ∥ ⋅ ∥ F ˉ i ∥ ) β , β ≥ 1 \mathcal{L}_{\mathrm{SCE}}=\sum_{i=1}^N\left(1-\frac{F_i^\top\bar{F}_i}{\|F_i\|\cdot\|\bar{F}_i\|}\right)^\beta,\beta\geq1 LSCE=i=1∑N(1−∥Fi∥⋅∥Fˉi∥Fi⊤Fˉi)β,β≥1
最后,用KL散度对结果进行优化:
L C L U = K L ( P ∥ Q ) = ∑ i ∑ u p i u log p i u q i u \mathcal{L}_{CLU}=KL(P\|Q)=\sum_i\sum_up_{iu}\log\frac{p_{iu}}{q_{iu}} LCLU=KL(P∥Q)=i∑u∑piulogqiupiu
联合优化损失如下:
L = L C R + L S C E + L C L U . \mathcal{L}=\mathcal{L}_{CR}+\mathcal{L}_{SCE}+\mathcal{L}_{CLU}. L=LCR+LSCE+LCLU.