Finding Global Homophily in Graph Neural Networks When Meeting Heterophily

本文发表于:ICML22
推荐指数: #paper/⭐⭐⭐

问题背景:

异配图的邻接矩阵难以确定,以及异配图的计算复杂度开销大
可行的解决办法:高通滤波+多跳邻居,GPRGNN(pagerank一类,各阶邻居的权重不同,ACM-GCN(高低通滤波,H2GCN(应该复杂度很大) WRGAT,GGCN(signed message) LINKX(MLP+graph)

模型

请添加图片描述

方法:两个MLP学习X和A,拼接后卷积
H X ( 0 ) = M L P 1 ( X ) , H A ( 0 ) = M L P 2 ( A ) H_X^{(0)}=M\mathrm{LP}_1(X),~H_A^{(0)}=\mathrm{MLP}_2(A) HX(0)=MLP1(X), HA(0)=MLP2(A)
仿照APPNP,再加上初等残差:
H ( 0 ) = ( 1 − α ) H X ( 0 ) + α H A ( 0 ) H^{(0)}=(1-\alpha)H_X^{(0)}+\alpha H_A^{(0)} H(0)=(1α)HX(0)+αHA(0)
H ( l ) = ( 1 − γ ) Z ( l ) H ( l ) + γ H ( 0 ) + O ( l ) H^{(l)}=(1-\gamma)Z^{(l)}H^{(l)}+\gamma H^{(0)}+O^{(l)} H(l)=(1γ)Z(l)H(l)+γH(0)+O(l)
我们可以得到下面优化问题:
min ⁡ Z ( l ) ∥ H ( l ) − ( 1 − γ ) Z ( l ) H ( l ) − γ H ( 0 ) ∥ F 2 + β 1 ∥ Z ( l ) ∥ F 2 + β 2 ∥ Z ( l ) − ∑ k = 1 K λ k A ^ k ∥ F 2 \min_{Z^{(l)}}\|H^{(l)}-(1-\gamma)Z^{(l)}H^{(l)}-\gamma H^{(0)}\|_{F}^{2}+\beta_{1}\|Z^{(l)}\|_{F}^{2}+\beta_{2}\|Z^{(l)}-\sum_{k=1}^{K}\lambda_{k}\hat{A}^{k}\|_{F}^{2} Z(l)minH(l)(1γ)Z(l)H(l)γH(0)F2+β1Z(l)F2+β2Z(l)k=1KλkA^kF2
第一项是优化问题,第二项是F范数,第三项是逼近Z与多跳邻居
可得Z:
Z ( l ) ∗ = [ ( 1 − γ ) H ( l ) ( H ( l ) ) T + β 2 ∑ k = 1 K λ k A ^ k − γ ( 1 − γ ) H ( 0 ) ( H ( l ) ) T ] [ ( 1 − γ ) 2 H ( l ) ( H ( l ) ) T + ( β 1 + β 2 ) I n ] − 1 \begin{aligned} Z^{(l)*}& =\left[(1-\gamma)H^{(l)}(H^{(l)})^T+\beta_2\sum_{k=1}^K\lambda_k\hat{A}^k-\gamma(1-\gamma)H^{(0)}(H^{(l)})^T\right] \\ &\left[\left(1-\gamma\right)^2H^{(l)}(H^{(l)})^T+(\beta_1+\beta_2)I_n\right]^{-1} \end{aligned} Z(l)=[(1γ)H(l)(H(l))T+β2k=1KλkA^kγ(1γ)H(0)(H(l))T][(1γ)2H(l)(H(l))T+(β1+β2)In]1

计算加速

H ( l + 1 ) = ( 1 − γ ) Z ( l ) ∗ H ( l ) + γ H ( 0 ) . H^{(l+1)}=(1-\gamma)Z^{(l)*}H^{(l)}+\gamma H^{(0)}. H(l+1)=(1γ)Z(l)H(l)+γH(0).
H ( l + 1 ) = ( 1 − γ ) H ( l ) ( H ( l ) ) T Q ( l + 1 ) + β 2 ∑ k = 1 K λ k A ^ k Q ( l + 1 ) − γ ( 1 − γ ) H ( 0 ) ( H ( l ) ) T Q ( l + 1 ) + γ H ( 0 ) \begin{gathered} H^{(l+1)}= (1-\gamma)H^{(l)}(H^{(l)})^TQ^{(l+1)}+\beta_2\sum_{k=1}^K\lambda_k\hat{A}^kQ^{(l+1)} \\ -\gamma(1-\gamma)H^{(0)}(H^{(l)})^TQ^{(l+1)}+\gamma H^{(0)} \end{gathered} H(l+1)=(1γ)H(l)(H(l))TQ(l+1)+β2k=1KλkA^kQ(l+1)γ(1γ)H(0)(H(l))TQ(l+1)+γH(0)
其中, Q ( l + 1 ) = 1 − γ β 1 + β 2 H ( l ) − 1 − γ ( β 1 + β 2 ) 2 H ( l ) . [ 1 ( 1 − γ ) 2 I c + 1 β 1 + β 2 ( H ( l ) ) T H ( l ) ] − 1 ( H ( l ) ) T H ( l ) \begin{aligned} Q^{(l+1)}=& \frac{1-\gamma}{\beta_1+\beta_2}H^{(l)}-\frac{1-\gamma}{(\beta_1+\beta_2)^2}H^{(l)}. \\ &\left[\frac1{(1-\gamma)^2}I_c+\frac1{\beta_1+\beta_2}(H^{(l)})^TH^{(l)}\right]^{-1}(H^{(l)})^TH^{(l)} \end{aligned} Q(l+1)=β1+β21γH(l)(β1+β2)21γH(l).[(1γ)21Ic+β1+β21(H(l))TH(l)]1(H(l))TH(l)

Group Effective

Definition 4. 1. ( Grouping effect ( Li et al. , 2020) ) . Given \textbf{Definition 4. 1. }( \textbf{Grouping effect ( Li et al. , 2020) ) . Given} Definition 4. 1. (Grouping effect ( Li et al. , 2020) ) . Given,a set of nodes V = { v i } i = 1 n \mathcal{V}=\{v_i\}_{i=1}^n V={vi}i=1n, let v i → v j v_i\to v_j vivj denote the condi-tion that ( 1 ) ∥ x i − x j ∥ 2 → 0 (1)\left\|x_i-x_j\right\|_2\to0 (1)xixj20 and ( 2 ) ∥ a ^ i k − a ^ j k ∥ 2 → 0 ( 2) \left \| \hat{a} _i^k- \hat{a} _j^k\right \| _2\to 0 (2) a^ika^jk 20, ∀ k ∈ \forall k\in k [ 1 , K ] . [1,K]. [1,K]. A matrix Z Z Z is said to have grouping effect if
v i → v j ⇒ ∣ Z i p − Z j p ∣ → 0 , ∀ 1 ≤ p ≤ n . v_i\to v_j\Rightarrow|Z_{ip}-Z_{jp}|\to0,\forall1\leq p\leq n. vivjZipZjp0,∀1pn.
对于任意两个节点vi和vj,无论它们在图中有多远,如果它们共享相似的特征向量和局部结构,我们都可以得出结论:(1),它们将被给予相似的系数向量;(2),它们将在描述其他节点时扮演相似的角色;而(3),它们将得到相似的表示向量。另一方面,在具有异质性的图中,相邻的节点更有可能出现不同的情况,因此它们会得到不同的嵌入。此外,对于特征相似度较低的两个节点,如果它们具有较高的结构相似性,则可以通过局部图结构的正则化项来增强其表征

GloGNN++

之前的这个H矩阵是 纵向的 attention,即 节点和 邻居之间的。 这里提出 横向的 attention,就是自身节点特征的重要性不同,采用常规的方法,增加一个对角矩阵作为每一维特征的attention

讨论

1.GAT中的权重是自动学习的,缺乏可解释性,但我们的模型中的Z(l)是来自一个精心设计良好的优化问题,并且有一个封闭的解
2.其次,GAT中的注意权值总是非负值,而我们的方法中的Z(l)允许有符号值。因此,GAT只使用低通卷积滤波器,而我们的方法同时结合了低通和高通滤波器。
3.对于每个节点,GAT对图中所有节点执行的邻域聚合计算代价昂贵,具有二次时间复杂度w.r.t.节点数。然而,我们的方法加速了聚合,并推导出了一个线性的时间复杂度

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/41449.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

碳课堂|搞清楚碳足迹,只看这篇文章就够了

碳足迹管理是碳达峰碳中和的重要政策工具,2023年12月,国家发展改革委、工信部、国家市场监管总局、住房城乡建设部、交通运输部等部门联合印发《关于加快建立产品碳足迹管理体系的意见》,对产品碳足迹管理各项重点任务作出系统部署。 推动碳…

音乐播放器

目录 一、设计目标二、实现流程1. 数据库操作2. 后端功能实现3. 前端UI界面实现4. 程序入口 三、项目收获 一、设计目标 1. 模拟网易云音乐,实现本地音乐盒。 2. 功能分析: 登录功能窗口显示加载本地音乐建立播放列表播放音乐删除播放列表音乐 3.设计思…

通过Java调用OceanBase云平台API

最近由于工作原因又开始捣鼓OceanBase,OceanBase云平台(OCP)提供了强大的管理和监控功能,而且对外开放API接口,可以将部分监控整合到自己的平台,所以写了个Java调用OCP API的demo做为自己的技术储备,也想分享给大家。也…

linux下mysql的定时备份

备份是容灾的基础,是指为了防止系统出现操作或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其他的存储介质的过程为什么备份 硬件故障软件故障误操作病毒入侵保留历史记录灾难性事件 存储介质 光盘磁带硬盘磁盘阵列DAS:直接…

[leetcode]文件组合

. - 力扣&#xff08;LeetCode&#xff09; class Solution { public:vector<vector<int>> fileCombination(int target) {vector<vector<int>> vec;vector<int> res;int sum 0, limit (target - 1) / 2; // (target - 1) / 2 等效于 target /…

一些你可能不知道的前端小优化- ̗̀(๑ᵔ⌔ᵔ๑)

前言 以前写css和html和一些原生DOM操作&#xff0c;感觉写完就完事了。从来没有考虑过一些性能优化的问题&#xff0c;刚好最近学完了浏览器的事件循环和浏览器的工作流程。今天大家分享一些我刚学习到的前端小优化。 浏览器的工作流程 浏览器的渲染过程大致分为以下几个阶…

Windows 11内置一键系统备份与还原 轻松替代Ghost

面对系统崩溃、恶意软件侵袭或其他不可预见因素导致的启动失败&#xff0c;Windows 7~Windows 11内置的系统映像功能能够迅速将您的系统恢复至健康状态&#xff0c;确保工作的连续性和数据的完整性。 Windows内置3种备份策略 U盘备份&#xff1a;便携且安全 打开“创建一个恢…

Ubuntu20.04突然没网的一种解决办法

本来要学一下点云地图处理&#xff0c;用octomap库&#xff0c;但是提示少了octomap-server库&#xff0c;然后通过下面命令安装的时候&#xff1a; sudo apt install ros-noetic-octomap-server 提示&#xff1a;错误:7 https://mirrors.ustc.edu.cn/ubuntu focal-security …

MWC上海展 | 创新微MinewSemi携ME54系列新品亮相Nordic展台

6月28日&#xff0c; 2024MWC上海圆满落幕&#xff0c;此次盛会吸引了来自全球124个国家及地区的近40,000名与会者。本届大会以“未来先行&#xff08;Future First&#xff09;”为主题&#xff0c;聚焦“超越5G”“人工智能经济”“数智制造”三大子主题&#xff0c;探索讨论…

leetcode热题HOT42. 接雨水

一、问题描述&#xff1a; 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图&#xff0c;计算按此排列的柱子&#xff0c;下雨之后能接多少雨水。 二、解题思路&#xff1a; 思路1&#xff1a;通过动态规划的预处理方式&#xff0c;分别计算每个柱子左右两侧的最大高度&…

js数据库多级分类按树形结构打印

可以使用 JavaScript 来按层级打印 categories 数组。首先&#xff0c;需要将这个数组转换成一个树形结构&#xff0c;然后再进行递归或者迭代来打印每个层级的内容。 以下是一个示例代码&#xff0c;用来实现这个功能&#xff1a; const categories [{ id: 2, name: "…

java如何删除字符串内部分字符

java中&#xff0c;如果要删除字符串内部分字符&#xff0c;需要用delete方法&#xff0c;前提字符串是可变字符串StringBuffer类型的。 delete方法的语法格式是sbf.delete(start,end) 其中&#xff0c;sbf是任意StringBuffer对象&#xff0c;start是起始索引&#xff0c;end…

AQ mode

算法原理概述 AQ即adaptive quantization(自适应量化),属于宏块级别码流分配的范畴,在一帧的宏块之间调整码率分配,x264中AQ算法的核心内容是:复杂宏块使用大的QP,简单宏块使用小的QP。x264如何定义复杂?x264是根据宏块内像素值的方差来评价宏块复杂性,方差越大,宏块…

溶解氧(DO)理论指南(1)

转载自梅特勒官网资料&#xff0c;仅用于学习交流&#xff0c;侵权则删&#xff01; 溶解氧理论指南 1 溶解氧(DO)原理1.1 溶解氧和分压1.2 氧气在水中的溶解度1.3 溶解氧对生物的重要性1.4 溶解氧对工业的重要性 1 溶解氧(DO)原理 氧是宇宙中第三大常见元素&#xff0c;也是…

JavaScript(6)——数据类型转换

为什么需要类型转换&#xff1f; JavaScript是弱数据类型&#xff1a;JavaScript不知道变量到底属于哪种数据类型&#xff0c;只有赋值了才清除 使用表单&#xff0c;prompt获取的数据默认为字符串类型&#xff0c;此时不能直接进行算数运算 隐式转换 某些运算符被执行时&am…

力扣hot100-链表

文章目录 概要链表的类型 题目&#xff1a;相交链表题解 概要 链表&#xff08;Linked List&#xff09;是数据结构中的一种&#xff0c;用于存储具有线性关系的数据。在链表中&#xff0c;每个元素称为一个节点&#xff08;Node&#xff09;&#xff0c;每个节点包含两个部分…

”极大似然估计“和”贝叶斯估计“思想对比

极大似然估计&#xff08;Maximum Likelihood Estimation, MLE&#xff09;和贝叶斯估计&#xff08;Bayesian Estimation&#xff09;是统计学中两种重要的参数估计方法&#xff0c;它们在思想和应用上有着显著的差异。下面我将详细对比这两种方法的思想&#xff0c;并分别举出…

两次叛国投敌,没有祸及子孙反而家族长盛不衰的传奇

这个人就是韩国国王韩王信&#xff0c;汉朝八大异姓王之一。 第一次叛国投敌&#xff0c;发生在楚汉争霸时期。有一次他的军队被项羽包围&#xff0c;于是选择了投降。不过&#xff0c;这是权宜之计&#xff0c;不久就借机回到刘邦阵营。 第二次叛国投敌&#xff0c;发生在西…

【Linux开发】基于ALSA库实现音量调节

基于ALSA库实现音量调节 ALSA库实现音量调节1、使用alsamixer工具查看音频接口2、完整代码2.1、snd_mixer_open2.2、snd_mixer_attach、2.3、snd_mixer_selem_register2.4、snd_mixer_load2.5、snd_mixer_first_elem/snd_mixer_elem_next2.6、snd_mixer_selem_get_playback_vol…

linux下php的psr.so扩展源码安装

cd /usr/local/src git clone https://github.com/jbboehr/php-psr.git cd php-psr /usr/local/php/bin/phpize ./configure --with-php-config/usr/local/php/bin/php-config make make install在php.ini中添加extensionpsr.so 重启php-fpm /etc/init.d/php-fpm relo…