半监督节点分类上的HyperGCN

1.Title

         HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification(Naganand Yadati、Prateek Yadav、Madhav Nimishakavi、Anand Louis、Partha Talukdar)【ACM Transactions on Knowledge Discovery from Data 2022】

2.Conclusion

        This paper explore the use of GCNs for hypergraph-based SSL and propose HyperGCN, an SSL method which uses a layer-wise propagation rule for convolutional neural networks operating directly on hypergraphs. To the best of our knowledge, this is the first principled adaptation of GCNs to hypergraphs. HyperGCN is able to encode both the hypergraph structure and hypernode features in an effective manner. Through detailed experimentation, it demonstrate HyperGCN’s effectiveness at hypergraph-based SSL.

3.Good Sentences

        1、This assumption might restrict modeling capacity, as graph edges need not encode node similarity, but could instead contain other information such as pointwise mutual semantic information (Zhuang and Ma 2018), or knowledge graph relationship information (Wang, Ye, and Gupta 2018)(The restriction of graph Laplacian regulariser)

        2、The crucial working principle here is that the hypernodes in the same hyperedge are similar and hence are likely to share the same label (The basic principal of Hypergraph).

        3、HyperGCN may be augmented with such approaches for even more improved performance. On the hypergraph side, our HyperGCN model currently is designed for undirected hypergraphs. Extending the model for directed hypergraphs (where the direction captures a casual relationship) (Zhang et al. 2017), and partial-order hypergraphs (Feng et al. 2018) can be an interesting avenue for further research. Investigating the recently proposed p-Laplacians for submodular hypergraphs (Li and Milenkovic 2018) is also an interesting direction.(Some possbile future works based on HyperGCN)


Introduction

        在传统的基于图的SSL问题中,损失函数被定义为标记数据上的监督损失和图结构的正则化器的加权和。典型的正则化器是拉普拉斯算子,它依赖图中连接的节点可能共享相同的标签这一假设。这种假设可能会限制建模能力,因为图的边不一定编码节点相似性,而可能包含其他信息。

        为了避免这种限制,后来的人引入了卷积神经网络,而本文填补了超图上的卷积网络的空白,主要贡献如下:

  • 提出了HyperGCN,第一个基于GCN的超图方法。
  • 与以前的非神经方法相比,HyperGCN能够有效地合并和修改超图节点上的特征。

  • 通过在多个真实世界数据集上进行的广泛实验,我们证明了HyperGCN与其他最先进的基线相比的有效性

HyperGCN的代码是开源的

Background: Graph Convolutional Network

        X=R^{N \times p}是对应图G的数据矩阵,A是其邻接矩阵,数据矩阵具有图中每个节点的p维实值向量表示。图卷积可作为图拉普拉斯算子的线性函数。GCN的基本公式来源于卷积定理,真实信号S∈R^N和滤波器F∈R^N的卷积C可以表示为w_0,w_1都是可学习的权重参数,是标准图拉普拉斯卷积,其中L是对称归一化图拉普拉斯算子,\lambda _N是其最大特征值,L=I-D^{-\frac{1}{2}}AD^{-\frac{1}{2}},D是d_1->d_N的对角矩阵滤波器F取决于图(图拉普拉斯算子L)的结构,这里的关键点是,两个图信号的卷积是图拉普拉斯L的线性函数。

GCN (Kipf and Welling 2017) 

        GCN以邻接矩阵A(底层图结构)和数据矩阵X(输入特征)为条件。简单的两层GCN的正向模型采用以下简单形式:

而对于具有q类的半监督多类分类,可以最小化标记示例集上的交叉熵误差V_N图卷积网络的权重,即θ(0)和θ(1),使用梯度下降进行训练。

超图卷积网络

        最关键的原理在于: 同一超边中的超节点是相似的,因此可能共享相同的标签。

假设用来表示V中的一些超节点,然后对于任意超边e\epsilon E,函数在超边e中的超节点的向量彼此接近时会很小,因此,把这个函数作为正则化器时可能实现“相同超边中的超节点具有相似表示”这一目标。而拉普拉斯算子也具有相似的功能

超图拉普拉斯

        给定一个实值信号S,S\epsilon R^n定义在超节点上,L(S)的计算步骤如下:

  1. 对于每个超边e\epsilon E,让(i_e,j_e):=argmax_{i,j\epsilon e}\left | S_i-S_j \right |随机断开连接
  2. 通过添加带权重w的边\left \{ \left \{ i_e,j_e \right \}:e\epsilon E \right \}来构造顶点集V上的加权图G_S,然后对于每个顶点v,添加足够权重的自循环,使得顶点在G_S中的度数等于d_v。把G_S的加权邻接矩阵记作A_S
  3. 对称归一化的拉普拉斯算子计算公式如下:

HyperGCN

图卷积运算可以使用如下所示的迭代方程在神经消息传递框架中重写:

τ是epoch次数,是节点v的新隐藏层表示, σ是非线性激活函数,Θ是可训练学习的权重参数,N(v)是节点v的邻居集,是超边(v,u)上经过标准化的权重,随着节点被嵌入,关联矩阵也被重新构建。HyperGCN模型可以被视为基于超图总变化进行隐式正则化。

带中介的拉普拉斯算子是一种HyperGCN的改进,不带介质的超图拉普拉斯算子忽略了给定epoch时,中的超节点。(Chan和Liang 2018已经证明K_e中的超节点充当“中介”的广义超图拉普拉斯算子满足由(Chan等人)给出的拉普拉斯算子的所有性质

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/193196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【并发编程】CopyOnWriteArrayList详解与原理

📫作者简介:小明Java问道之路,2022年度博客之星全国TOP3,专注于后端、中间件、计算机底层、架构设计演进与稳定性建设优化,文章内容兼具广度、深度、大厂技术方案,对待技术喜欢推理加验证,就职于…

springboot中EventSourceListener的onEvent方法中, 获取HttpServletResponse对象

在Spring Boot中,可以通过注入HttpServletResponse对象来获取。具体步骤如下: 在EventSourceListener类中定义一个HttpServletResponse类型的成员变量response,并添加一个构造函数,将response作为参数传入。 在onEvent方法中&…

SmartSoftHelp8,IIS Nginx,windows linux 高并发服务器优化配置工具

Windows IIS 性能优化配置 Windows Nginx 性能优化配置模板 Linux Nginx 性能优化配置模板 Nginx 常用命令 webconfig 优化配置详细说明 下载地址: https://pan.baidu.com/s/1zBgeYsqWnSlNgiKPR2lUYg?pwd8888

深入理解网络非阻塞 I/O:NIO

🔭 嗨,您好 👋 我是 vnjohn,在互联网企业担任 Java 开发,CSDN 优质创作者 📖 推荐专栏:Spring、MySQL、Nacos、Java,后续其他专栏会持续优化更新迭代 🌲文章所在专栏&…

java应用程序性能分析

一、Java程序性能优化 1. 程序的性能通过以下几个方面来表现: 1)执行速度:程序的反映是否迅速,响应时间是否足够短; 2)内存分配:内存分配是否合理,是否过多地消耗内存或者存在泄漏&…

监测tcp连接状态

using System; using System.Collections.Generic; using System.Linq; using System.Net.Sockets; using System.Text; using System.Threading; using System.Threading.Tasks;namespace 检测tcp连接状态 {public class TCPClient{private TcpClient client;private bool con…

npm上传发布自定义组件超详细流程

前言 vue3,vite,基于element Plus 的el-table二次封装表格并且上传到npm上,让别人可以通过npm安装你的插件。 一、创建一个新的vue 项目 npm create vuelatest 自己取一个名字,然后一直回车 完成以后进入项目npm i,有用到eleme…

02-获取连接数据库的Connection对象的方式

获取连接对象连接数据库的方式 JDBC编程六步 创建并注册驱动对象 : 告诉Java程序即将要连接的是哪个品牌的数据库(注意使用反射机制加载Driver类时会自动完成驱动的创建和注册)使用注册对象获取连接对象: 表示JVM的进程和数据库进程之间的通道打开了,这属于进程之…

API无代码开发让尘锋SCRM与营销系统集成,提高电商平台客服效率

API无代码开发的力量 随着电商平台业务的日益增长,客服系统的效率和响应速度成为了企业关注的焦点。API无代码开发的出现,为企业提供了一个高效的解决方案。API(Application Programming Interface,应用编程接口)允许不同的软件系统之间进行有…

C++ IO库

IO类 IO对象不能拷贝和赋值 iostream 表示形式的变化: 将100转换成二进制序列 然后格式化输出 x,y共用一块内存 输出的时候用不同的方式解析同一块内存 操作 格式化:内部表示转换为相应字节序列 缓存:要输出的内容放到缓存 编码转换&…

Linux 防火墙,了解就好

目录 安全技术 防火墙的分类 按保护范围划分 按实现方式划分 按网络协议划分 应用层防火墙(7层) 防火墙的工作原理 linux防火墙的基本认识 防火墙工具介绍 1.iptables 2.firewalld 3.nftables 安全技术 —— 入侵检测系统(Intru…

【Java基础系列】BigDecimal入门

一.基本介绍 1.什么是 BigDecimal? BigDecimal 是 Java 中的一个类,用于表示任意精度的十进制数。它属于 java.math 包,并提供了高精度的浮点数运算。与基本数据类型的浮点数(如 float 和 double)不同,BigDecimal 可…

Xilinx Zynq-7000系列FPGA多路视频处理:图像缩放+视频拼接显示,提供工程源码和技术支持

目录 1、前言免责声明 2、相关方案推荐FPGA图像处理方案FPGA图像缩放方案FPGA视频拼接叠加融合方案推荐 3、设计思路详解HLS 图像缩放介绍Video Mixer介绍 4、vivado工程介绍PL 端 FPGA 逻辑设计PS 端 SDK 软件设计 5、工程移植说明vivado版本不一致处理FPGA型号不一致处理其他…

【投稿优惠|稳定出版】2023年信息科学和大数据应用国际会议 (ICISBDA 2023)

2023年信息科学和大数据应用国际会议 (ICISBDA 2023) 2023 International Conference on Information Science and Big Data Applications (ICISBDA 2023) 一、会议简介 🎉🎉🎉🎉🎉&…

Tensorflow的日志log记录

if OUTPUT_GRAPH:tf.summary.FileWriter("logs/", sess.graph)自动创建文件夹log

分享一个大学生免费的资源网站(含考研资源,竞赛四六级)

今天不小心从其他地方链接到的网站,里面包含考考研资料,四六级相关的资料,重点都是免费的,部分资料可能需要登录或者关注公众号才可见,,网站链接了CSDN 能跳转到CSND, 网站地址 :忠哥资源共享http://jian…

Pandas时序数据分析实践—基础(1)

目录 1. Pandas基本结构2. Pandas数据类型2.1. 类型概述2.1.1. 整数类型(int):2.1.2. 浮点数类型(float):2.1.3. 布尔类型(bool):2.1.4. 字符串类型(object&a…

Android 源码编译

一,虚拟机安装 ​ 1.1 进入https://cn.ubuntu.com/download中文官网下载iso镜像 1.2 这里我们下载Ubuntu 18.04 LTS 1.3虚拟VM机安装ubuntu系统,注意编译源码需要至少16G运行内存和400G磁盘空间,尽量设大点 二 配置编译环境 2.1 下载andr…

C++ day50 动态规划

题目1:123 买卖股票的最佳时机Ⅲ 题目链接:买卖股票的最佳时机Ⅲ 对题目的理解 prices[i]表示股票在第i天的价格,最多可以完成两笔交易,不能同时进行多笔交易 可以买卖一次,两次,也可以不买卖 动态规划…

C++-类和对象

目录 一.C语言和C的区别 二.类的引入 三.类的定义 1.类的定义 2.类的成员方法的两种定义方式: 3.类的成员变量的定义 四.类的访问限定符及封装 1.访问限定符 五.面向对象的三大特征 1.面向对象的三大特征分别是什么 2.封装 六.类的作用域 七.创建类对象 1.类…