发表于:ICML24
推荐指数: #paper/⭐⭐⭐
创新点一颗星,证明三颗星(证明的不错,值得借鉴,但是思路只能说还行吧)
如图, 本文采取的创新点就是MLP用原始节点,GCN用邻居节点的对比学习.这样,可以加快运算速度
L E C L = − 1 ∣ V ∣ ∑ v ∈ V 1 ∣ N ( v ) ∣ ∑ u ∈ N ( v ) log ℓ ( v ) , where(4) ℓ ( v ) ≜ exp ( f M ( v ) ⊤ f G ( u ) / τ ) ∑ v − ∈ V exp ( f G ( u ) ⊤ f G ( v − ) / τ ) + λ exp ( f M ( v ) ⊤ f G ( v − ) / τ ) , \begin{align} \mathcal{L}_{\mathrm{ECL}}=-\frac1{|\mathcal{V}|}\sum_{v\in\mathcal{V}}\frac1{|\mathcal{N}(v)|}\sum_{u\in\mathcal{N}(v)}\log\ell(v),\text{ where}\text{(4)}\\\ell(v)\triangleq\frac{\exp(f_M(v)^\top f_G(u)/\tau)}{\sum_{v^-\in\mathcal{V}}\exp(f_G(u)^\top f_G(v^-)/\tau)+\lambda\exp(f_M(v)^\top f_G(v^-)/\tau)}, \end{align} LECL=−∣V∣1v∈V∑∣N(v)∣1u∈N(v)∑logℓ(v), where(4)ℓ(v)≜∑v−∈Vexp(fG(u)⊤fG(v−)/τ)+λexp(fM(v)⊤fG(v−)/τ)exp(fM(v)⊤fG(u)/τ),
如上,fM表示MLP的编码层,fG表示GCN的编码层.本文采取节点v和节点v的邻居作为正样本对.负样本对为:在GCN层的邻居节点u和负样本(随机采样的负样本),MLP层的节点v和GCN层的负样本 v − v^{-} v−(随机采样的负样本)
逻辑说明:
原始节点为v,邻居节点u.MLP映射的v与GCN层(一层)的u进行对比,就相当于节点v与二跳邻居进行对比.新瓶装旧酒,证明十分巧妙
总结:
创新点一般般,但是证明非常巧妙,值得一看(本博客并未附上作者详细证明)
