论文解读(MERIT)《Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learni

🚀 优质资源分享 🚀

学习路线指引(点击解锁)知识定位人群定位
🧡 Python实战微信订餐小程序 🧡进阶级本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。
💛Python量化交易实战💛入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

论文信息

论文标题:Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning论文作者:Ming Jin, Yizhen Zheng, Yuan-Fang Li, Chen Gong, Chuan Zhou, Shirui Pan论文来源:2021, IJCAI论文地址:download 论文代码:download

1 Introduction

创新:融合交叉视图对比和交叉网络对比。

2 Method

算法图示如下:

模型组成部分:

    • Graph augmentations
      • Cross-network contrastive learning
      • Cross-view contrastive learning

2.1 Graph Augmentations

  • Graph Diffusion (GD)

S=∞∑k=0θkTk∈RN×N(1)S=∑k=0∞θkTk∈RN×N(1)S=\sum\limits _{k=0}^{\infty} \theta_{k} T^{k} \in \mathbb{R}^{N \times N}\quad\quad\quad(1)

这里采用 PPR kernel:

S=α(I−(1−α)D−1/2AD−1/2)−1(2)S=α(I−(1−α)D−1/2AD−1/2)−1(2)S=\alpha\left(I-(1-\alpha) D^{-1 / 2} A D^{-1 / 2}\right)^{-1}\quad\quad\quad(2)

  • Edge Modification (EM)

给定修改比例 PP ,先随机删除 P/2P/2 的边,再随机添加P/2P/2 的边。(添加和删除服从均匀分布)

  • Subsampling (SS)

在邻接矩阵中随机选择一个节点索引作为分割点,然后使用它对原始图进行裁剪,创建一个固定大小的子图作为增广图视图。

  • Node Feature Masking (NFM)

给定特征矩阵 XX 和增强比 PP,我们在 XX 中随机选择节点特征维数的 PP 部分,然后用 00 掩码它们。

在本文中,将 SS、EM 和 NFM 应用于第一个视图,并将 SS+GD+NFM 应用于第二个视图。

2.2 Cross-Network Contrastive Learning

MERIT 引入了一个孪生网络架构,它由两个相同的编码器(即 gθg_{\theta}, pθp_{\theta}, gζg_{\zeta} 和 pζp_{\zeta})组成,在 online encoder 上有一个额外的预测器qθq_{\theta},如 Figure 1 所示。

这种对比性的学习过程如 Figure 2(a) 所示:

其中:

    • H1=qθ(Z1)H{1}=q_{\theta}\left(Z{1}\right)
      • Z1=pθ(gθ(˜X1,˜A1))Z^{1}=p_{\theta}\left(g_{\theta}\left(\tilde{X}_{1}, \tilde{A}_{1}\right)\right)
      • Z2=pθ(gθ(˜X2,˜A2))Z^{2}=p_{\theta}\left(g_{\theta}\left(\tilde{X}_{2}, \tilde{A}_{2}\right)\right)
      • ˆZ1=pζ(gζ(˜X1,˜A1))\hat{Z}^{1}=p_{\zeta}\left(g_{\zeta}\left(\tilde{X}_{1}, \tilde{A}_{1}\right)\right)
      • ˆZ2=pζ(gζ(˜X2,˜A2))\hat{Z}^{2}=p_{\zeta}\left(g_{\zeta}\left(\tilde{X}_{2}, \tilde{A}_{2}\right)\right)

参数更新策略(动量更新机制):

ζt=m⋅ζt−1+(1−m)⋅θt(3)\zeta^{t}=m \cdot \zeta^{t-1}+(1-m) \cdot \theta^{t}\quad\quad\quad(3)

其中,mm、ζ\zeta、θ\theta 分别为动量参数、target network 参数和 online network 参数。

损失函数如下:

Lcn=12NN∑i=1(L1cn(vi)+L2cn(vi))(6)\mathcal{L}_{c n}=\frac{1}{2 N} \sum\limits _{i=1}^{N}\left(\mathcal{L}_{c n}^{1}\left(v_{i}\right)+\mathcal{L}_{c n}^{2}\left(v_{i}\right)\right)\quad\quad\quad(6)

其中:

L1cn(vi)=−logexp(sim(h1vi,ˆz2vi))∑Nj=1exp(sim(h1vi,ˆz2vj))(4)\mathcal{L}_{c n}^{1}\left(v_{i}\right)=-\log {\large \frac{\exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, \hat{z}_{v_{i}}{2}\right)\right)}{\sum_{j=1}{N} \exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, \hat{z}_{v_{j}}^{2}\right)\right)}}\quad\quad\quad(4)

L2cn(vi)=−logexp(sim(h2vi,ˆz1vi))∑Nj=1exp(sim(h2vi,ˆz1vj))(5)\mathcal{L}_{c n}^{2}\left(v_{i}\right)=-\log {\large \frac{\exp \left(\operatorname{sim}\left(h_{v_{i}}^{2}, \hat{z}_{v_{i}}{1}\right)\right)}{\sum_{j=1}{N} \exp \left(\operatorname{sim}\left(h_{v_{i}}^{2}, \hat{z}_{v_{j}}^{1}\right)\right)}}\quad\quad\quad(5)

2.3 Cross-View Contrastive Learning

损失函数:

Lkcv(vi)=Lkintra (vi)+Lkinter (vi),k∈{1,2}(10)\mathcal{L}_{c v}^{k}\left(v_{i}\right)=\mathcal{L}_{\text {intra }}^{k}\left(v_{i}\right)+\mathcal{L}_{\text {inter }}^{k}\left(v_{i}\right), \quad k \in{1,2}\quad\quad\quad(10)

其中:

Lcv=12NN∑i=1(L1cv(vi)+L2cv(vi))(9)\mathcal{L}_{c v}=\frac{1}{2 N} \sum\limits _{i=1}^{N}\left(\mathcal{L}_{c v}^{1}\left(v_{i}\right)+\mathcal{L}_{c v}^{2}\left(v_{i}\right)\right)\quad\quad\quad(9)

L1inter (vi)=−logexp(sim(h1vi,h2vi))∑Nj=1exp(sim(h1vi,h2vj))(7)\mathcal{L}_{\text {inter }}^{1}\left(v_{i}\right)=-\log {\large \frac{\exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, h_{v_{i}}{2}\right)\right)}{\sum_{j=1}{N} \exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, h_{v_{j}}^{2}\right)\right)}}\quad\quad\quad(7)

L1intra(vi)=−logexp(sim(h1vi,h2vi))exp(sim(h1vi,h2vi))+ΦΦ=N∑j=11i≠jexp(sim(h1vi,h1vj))(8)\begin{aligned}\mathcal{L}_{i n t r a}^{1}\left(v_{i}\right) &=-\log \frac{\exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, h_{v_{i}}^{2}\right)\right)}{\exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, h_{v_{i}}^{2}\right)\right)+\Phi} \\Phi &=\sum\limits_{j=1}^{N} \mathbb{1}_{i \neq j} \exp \left(\operatorname{sim}\left(h_{v_{i}}^{1}, h_{v_{j}}^{1}\right)\right)\end{aligned}\quad\quad\quad(8)

2.4 Model Training

L=βLcv+(1−β)Lcn(11)\mathcal{L}=\beta \mathcal{L}_{c v}+(1-\beta) \mathcal{L}_{c n}\quad\quad\quad(11)

3 Experiment

数据集

基线实验

  • 论文信息

  • 1 Introduction

  • 2 Method

  • 2.1 Graph Augmentations

  • 2.2 Cross-Network Contrastive Learning

  • 2.3 Cross-View Contrastive Learning

  • 2.4 Model Training

  • 3 Experiment

    __EOF__

     - **本文作者:** [Blair](https://blog.csdn.net/biggbang)
    
  • 本文链接: https://blog.csdn.net/BlairGrowing/p/16196841.html
  • 关于博主: 评论和私信会在第一时间回复。或者直接私信我。
  • 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
  • 声援博主: 如果您觉得文章对您有帮助,可以点击文章右下角**【[推荐](javascript:void(0)😉】**一下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/401043.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Fiddler抓包9-保存会话(save)

前言 为什么要保存会话呢?举个很简单的场景,你在上海测试某个功能接口的时候,发现了一个BUG,而开发这个接口的开发人员是北京的一家合作公司。你这时候给对方开发提bug, 如何显得专业一点,能让对方心服口服…

『现学现忘』Git基础 — 17、Commit对象

🚀 优质资源分享 🚀 学习路线指引(点击解锁)知识定位人群定位🧡 Python实战微信订餐小程序 🧡进阶级本课程是python flask微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一…

Spring/MVC映射WEB-INF下的文件(img、css、js等)

学过Mvc的都知道并且会访问该目录下面的jsp 页面&#xff08;这是最基础的&#xff09; 但我们想访问里面的图片什么的&#xff0c;又该怎么去访问呢&#xff0c; 一句代码&#xff1a; <mvc:resources mapping"/img/**" location"/WEB-INF/img/"/> …

NSDate 类的总结,全面基础

NSDate 类的总结,全面基础 <span style"font-size:24px;"><span style"font-size:18px;">//1.创建日期对象//创建的NSDate对象,获得的永远是0时区时间,假设要是求东八区时间,就加8个小时NSDate *date [NSDate date];NSLog("%",date…

《HelloGitHub》第 73 期

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

FTP命令大全

项目需要&#xff0c;接触到ftp的一些操作&#xff0c;这里搬运一些ftp命令供以后参考 命令描述ABOR(ABORT)此命令使服务器终止前一个FTP服务命令以及任何相关数据传输。ACCT(ACCOUNT)此命令的参数部分使用一个Telnet字符串来指明用户的账户。ADAT(AUTHENTICATION/SECURITY DAT…

typora + EasyBlogImageForTypora直接上传图片到博客园

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

20155320 第十一周课堂总结

20155320 第十一周课堂总结 未及时提交原因&#xff1a; 对代码掌握的不熟练&#xff0c;并且由于起初不知道自己电脑浏览器不支持蓝墨云图片提交&#xff0c;尝试几次后只能把图片传到手机上导致截图没有及时提交 1,。测试题目 1.修改教材P74 一行代码 NineNineTable.java, 让…

Nginx的安装(笔记)

0, 先决条件Nginx 依赖 zlib zlib-devel gcc-c libtool openssl openssl-devel pcre安装命令&#xff1a;yum -y install make zlib zlib-devel gcc-c libtool openssl openssl-devel pcre安装命令&#xff1a;wget http://downloads.sourceforge.net/project/pcre/pcre/8.41/p…

.NET混合开发解决方案14 WebView2的基本身份验证

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

jquerymobile应用中session、cookie

登陆界面html输入账号A密码后经验证页面login.asp跳转至列表页listA 更换用户B登录后跳转至列表B 结果列表B页显示内容与A页相同 列表页中用的是session&#xff0c;调整html跳转login.asp加随机数参数login.asp?rrandom()解决session不刷新的问题&#xff01; 转载于:https:/…

并发编程系列之Lock锁可重入性与公平性

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

MyEclipse10破解详细说明

MyEclipse10破解详细教程 1.先安装好jdk&#xff0c;再安装好myeclipse10&#xff0c;并关闭该软件(jdk下载安装教程 http://blog.csdn.net/qq_36330228/article/details/75268398) 2.下载破解工具&#xff0c;打开me_active.jar 3.输入任意用户名&#xff0c;点击Systemid按…

DirectXInput

DirectXInput 作为DirectX的提供的很多外接技术输入设备的功能功能函数。 DirectXInput转载于:https://www.cnblogs.com/yshic/archive/2012/12/05/2802854.html

中国电子云数据库 Mesh 项目 DBPack 的实践

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

第三章DOM

1. DOM的概念 D:Document. O:Object.对象可以分为三类&#xff0c; 1. 用户自定义的对象。 2. 内建对象&#xff0c;如Array&#xff0c;Math&#xff0c;Date。 3. 宿主对象&#xff0c;浏览器提供的对象。如window对象&#xff0c;方法例如window.open,window.blur. M:Model,…

grpc ssl使用

相关链接 http://www.jianshu.com/p/2873a8349ca0 转载于:https://www.cnblogs.com/freedommovie/p/6810301.html

(百度、谷歌)地图经纬度gps偏移解决办法:gps纠偏数据库纠偏

使用方法&#xff1a; 1、假设原始gps数据为&#xff08;73.528888&#xff0c;39.368888&#xff09; 2、查询数据库&#xff1a;SELECT * FROM offset where lng73.52 and lat39.36&#xff0c;得出offsetlat、offsetlng 3、用原始的lat加上offsetlat&#xff0c;lng加上offs…

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(中)

&#x1f680; 优质资源分享 &#x1f680; 学习路线指引&#xff08;点击解锁&#xff09;知识定位人群定位&#x1f9e1; Python实战微信订餐小程序 &#x1f9e1;进阶级本课程是python flask微信小程序的完美结合&#xff0c;从项目搭建到腾讯云部署上线&#xff0c;打造一…

使用 Pandas 分析 Apache 日志

本文的作者是 Nikolay Koldunov&#xff0c;本文原文是Apache log analysis with Pandas 注本文的图有问题&#xff0c;没法引用&#xff0c;还是去原文看下&#xff0c;这里作为一个引子。 %pylab inline欢迎来到 pylab&#xff0c;一个基于 matplotlib 的 Python 环境【backe…