[论文精读]Variational Graph Auto-Encoders

论文网址:[1611.07308] Variational Graph Auto-Encoders (arxiv.org)

英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏向于笔记,谨慎食用

目录

1. 省流版

1.1. 心得

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

2.2. Experiments on link prediction

3. Reference


1. 省流版

1.1. 心得

(1)好短的文章捏,只有两页

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

        ①Task: unsupervised learning

        ②Latent space of unsupervised VGAE in Cora, a citation network dataset:

        ③Definitions: for undirected and unweighted graph G=\left ( V,E \right ), the number of nodes N=\left | V \right |, the adjacency matrix with self-loop and the diagnal elements all set to 1defined as A, the degree matrix is \mathbf{D}, the stochastic latent variables is z_i \in \mathbb{R}^{1 \times F}\mathbf{Z}=\left [ z_1,z_2,...,z_N \right ] \in\mathbb{R}^{N \times F}, node feature matrix \mathbf{X} \in \mathbb{R}^{N \times D}(但是没说这个节点特征是啥,估计自己随便定义吧)

        ④Inference model:

q(\mathbf{Z}\mid\mathbf{X},\mathbf{A})=\prod_{i=1}^Nq(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})

with q(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})=\mathcal{N}(\mathbf{z}_i\mid\boldsymbol{\mu}_i,\mathrm{diag}(\boldsymbol{\sigma}_i^2))

where \boldsymbol\mu = \mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) is the matrix of mean vectors \mu _i;

\log \boldsymbol \sigma = \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})为啥左边要有个log啊

        ⑤A 2 layer GCN:

\mathrm{GCN}(\mathbf{X},\mathbf{A})=\mathbf{\tilde{A}}\mathrm{ReLU}(\mathbf{\tilde{A}}\mathbf{X}\mathbf{W}_{0})\mathbf{W}_{1}

where \mathbf{W}_{i} denotes weight matrix, \mathbf{\tilde{A}}=\mathbf{D}^{-\frac{1}{2}}\mathbf{A}\mathbf{D}^{-\frac{1}{2}}

        ⑥\mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) 和 \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})共享\mathbf{W}_{0}的参数???什么玩意儿??为啥有俩,是引用了之前的什么高斯吗?

        ⑦Generative model:

p\left(\mathbf{A}\mid\mathbf{Z}\right)=\prod_{i=1}^{N}\prod_{j=1}^{N}p\left(A_{ij}\mid\mathbf{z}_{i},\mathbf{z}_{j}\right)

with p\left(A_{ij}=1 | \mathbf{z}_i,\mathbf{z}_j\right)=\sigma(\mathbf{z}_i^\top\mathbf{z}_j)

where \sigma \left ( \cdot \right ) represents the logistic sigmoid function

        ⑧Loss function:

\mathcal{L}=\mathbb{E}_{q(\mathbf{Z}|\mathbf{X},\mathbf{A})}\big[\log p\left(\mathbf{A}\left|\mathbf{Z}\right)\right]-\mathrm{KL}\big[q(\mathbf{Z}\left|\mathbf{X},\mathbf{A}\right)\|p(\mathbf{Z})\big]

where Gaussian prior p(\mathbf{Z})=\prod_{i}p(\mathbf{z_{i}})=\prod_{i}\mathcal{N}(\mathbf{z_{i}} | 0,\mathbf{I})

        ⑨作者觉得对于非常稀疏的邻接矩阵A,在损失函数中重新加权a) A_{ij}=1的项,或b) A_{ij}=0的子样本项可能是有益的。然后它们选择了a) 方法。

        ⑩If there is no node features, replace \mathbf{X} by indentity matrix

        ⑪Reconstruct adjacency matrix by non-probabilistic graph auto-encoder (GAE) model:

\mathbf{\hat{A}}=\sigma(\mathbf{Z}\mathbf{Z}^\top) , \mathrm{with}\quad\mathbf{Z}=\mathrm{GCN}(\mathbf{X},\mathbf{A})

2.2. Experiments on link prediction

        ①Prediction task: randomly delete some edges and keep all the node features

        ②Validation/Test set: deleted edges and unconnected node pairs with the same number

        ③Connection contained: 5% for val set and 10% for test set

        ④Epoch: 200

        ⑤Optimizer: Adam

        ⑥Learning rate: 0.01

        ⑦Hidden dim: 32

        ⑧Latent variable dim: 16

        ⑨Embedding dim: 128

        ⑩Performance comparison table with mean results and std error for 10 runs:

where * means w/o node features

3. Reference

Kipf, T. N. & Welling, M. (2016) 'Variational Graph Auto-Encoders', NIPS. doi: https://doi.org/10.48550/arXiv.1611.07308

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/864272.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DL/T 645与modbus协议是否兼容,有何关系?

不兼容。645是电表协议,modbus是通用控制协议,两个是平行关系,两个协议都可以使用485通信协议(物理接口协议)进行传输,或传输介质与物理接口相同,软件协议不同。 Modbus有以下三种通信模式 在…

ARM功耗管理软件之时钟电源树

安全之安全(security)博客目录导读 思考:功耗管理软件栈及示例?WFI&WFE?时钟&电源树?DVFS&AVS? 目录 一、时钟&电源树简介 二、时钟树示例 三、电源树示例 一、时钟&电源树简介 时钟门控与自…

人工智能与机器学习原理精解【1】

文章目录 Rosenblatt感知器基础收敛算法算法概述算法步骤关键点说明总结 C实现要点代码 参考文献 Rosenblatt感知器 基础 感知器,也可翻译为感知机,是一种人工神经网络。它可以被视为一种最简单形式的前馈式人工神经网络,是一种二元线性分类…

【技术路线选择】:Qt or macOS/iOS ?

【技术路线选择】:Qt or macOS/iOS ? 【Question 1】: I have more than two years of experience developing with the following skills: Qt C and macOS/iOS development. Im interested in pursuing a software engineering career and would …

Victor CMS v1.0 SQL 注入漏洞(CVE-2022-28060)

前言 CVE-2022-28060 是 Victor CMS v1.0 中的一个SQL注入漏洞。该漏洞存在于 /includes/login.php 文件中的 user_name 参数。攻击者可以通过发送特制的 SQL 语句,利用这个漏洞执行未授权的数据库操作,从而访问或修改数据库中的敏感信息。 漏洞详细信…

论文阅读_优化RAG系统的检索

英文名称: The Power of Noise: Redefining Retrieval for RAG Systems 中文名称: 噪声的力量:重新定义RAG系统的检索 链接: https://arxiv.org/pdf/2401.14887.pdf 作者: Florin Cuconasu, Giovanni Trappolini, Federico Siciliano, Simone Filice, Cesare Campag…

半导体中名词“wafer”“chip”“die”中文名字和用途

①wafer——晶圆 wafer 即为图片所示的晶圆,由纯硅(Si)构成。一般分为6英寸、8英寸、12英寸规格不等,晶片就是基于这个wafer上生产出来的。晶圆是指硅半导体集成电路制作所用的硅晶片,由于其形状为圆形,故称为晶圆;在硅晶片上可加…

App测试技术(纯理论)

之前我们也学习过一些普通用例的设计, 如功能, 性能, 安全性, 兼容性, 易用性, 界面的测试用例设计, 之前我们讲的基本都是对于Web应用而言的, 这里我们来讲一下移动端的App测试用例设计. 功能方面 安装&卸载测试 这是只属于App的一类测试, 再平常我们使用移动设备(手机…

php 命令行模式详解

PHP 的命令行模式(Command Line Interface, CLI)是 PHP 的一个特定版本或运行时配置,它允许 PHP 脚本在没有 Web 服务器的情况下直接在命令行环境中执行。CLI 版本的 PHP 通常不包含 CGI 或者其他 web server 接口,因此更轻量级&a…

Redis的使用(一)概述

1.绪论 redis是一款用c编写的kv数据库,它具有丰富的数据类型,并且执行原子操作,自带数持久化,并且实现了集群部署等功能,我们来看看它有哪些特点: 1.提供了丰富的数据结构,比如string,list&am…

【第11章】MyBatis-Plus条件构造器(上)

文章目录 前言一、功能详解1. allEq2. eq3. ne4. gt5. ge6. lt7. le8. between9. notBetween10. like11. notLike12. likeLeft13. likeRight14. notLikeLeft15. notLikeRight16. isNull17. in18. notIn19. inSql20. notInSql21. eqSqlSince 3.5.622. gtSql Since 3.4.3.223. ge…

Linux4(Docker)

目录 一、Docker介绍 二、Docker结构 三、Docker安装 四、Docker 镜像 五、Docker 容器 六、Docker 安装nginx 七、Docker 中的MySQL部署 一、Docker介绍 Docker:是给予Go语言实现的开源项目。 Docker的主要目标是“Build,Ship and Run Any App,Anywhere” 也…

jenkins配置git

参考: 容器化部署 Jenkins,并配置SSH远程操作服务器_jenkins ssh-CSDN博客

类和对象【上】【C++】

P. S.:以下代码均在VS2019环境下测试,不代表所有编译器均可通过。 P. S.:测试代码均未展示头文件stdio.h的声明,使用时请自行添加。 博主主页:LiUEEEEE                        …

依托天拓四方工业智能网关实现CNC数控机床的远程运维

随着工业4.0时代的到来,智能制造和工业互联网成为了推动制造业转型升级的重要力量。CNC数控机床作为制造业的核心设备,其运行效率与稳定性直接关系到企业的生产效益。因此,实现CNC数控机床的远程运维,对于提升企业竞争力、降低运营…

安装 Docker 环境(通过云平台创建一个实例实现)

目录 1. 删除原有 yum 2. 手动配置 yum 源 3. 删除防火墙规则 4. 保存防火墙配置 5. 修改系统内核。打开内核转发功能。 6. 安装 Docker 7. 设置本地镜像仓库 8.重启服务 1. 删除原有 yum rm -rfv /etc/yum.repos.d/* 2. 手动配置 yum 源 使用 centos7-1511.iso 和 Xi…

Apache Iceberg:现代数据湖存储格式的未来

Apache Iceberg 是一个开源的表格式,用于在分布式数据湖中管理大规模数据集。它由 Netflix 开发,并捐赠给 Apache 基金会。Iceberg 的设计目标是解决传统数据湖存储格式(如 Apache Hive 和 Apache Parquet)在大规模数据管理中的一…

Java [ 基础 ] 方法引用 ✨

✨探索Java基础✨ Java基础:方法引用 方法引用是Java 8中引入的一种新特性,它使得代码更加简洁和易读。方法引用提供了一种可以直接引用已有方法作为Lambda表达式的替代方案。本文将深入介绍方法引用的基本概念、使用方法、具体实例及其在实际开发中的…

说一说应如何组织团建

1. 背景 团建,全称为团队建设(Team Building, TB),是一种通过各种活动和训练,提高团队凝聚力,增强团队合作精神,提升团队效率的过程。团建活动可以包括各种形式,如户外拓展训练、团…