[论文精读]Variational Graph Auto-Encoders

论文网址:[1611.07308] Variational Graph Auto-Encoders (arxiv.org)

英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏向于笔记,谨慎食用

目录

1. 省流版

1.1. 心得

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

2.2. Experiments on link prediction

3. Reference


1. 省流版

1.1. 心得

(1)好短的文章捏,只有两页

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

        ①Task: unsupervised learning

        ②Latent space of unsupervised VGAE in Cora, a citation network dataset:

        ③Definitions: for undirected and unweighted graph G=\left ( V,E \right ), the number of nodes N=\left | V \right |, the adjacency matrix with self-loop and the diagnal elements all set to 1defined as A, the degree matrix is \mathbf{D}, the stochastic latent variables is z_i \in \mathbb{R}^{1 \times F}\mathbf{Z}=\left [ z_1,z_2,...,z_N \right ] \in\mathbb{R}^{N \times F}, node feature matrix \mathbf{X} \in \mathbb{R}^{N \times D}(但是没说这个节点特征是啥,估计自己随便定义吧)

        ④Inference model:

q(\mathbf{Z}\mid\mathbf{X},\mathbf{A})=\prod_{i=1}^Nq(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})

with q(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})=\mathcal{N}(\mathbf{z}_i\mid\boldsymbol{\mu}_i,\mathrm{diag}(\boldsymbol{\sigma}_i^2))

where \boldsymbol\mu = \mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) is the matrix of mean vectors \mu _i;

\log \boldsymbol \sigma = \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})为啥左边要有个log啊

        ⑤A 2 layer GCN:

\mathrm{GCN}(\mathbf{X},\mathbf{A})=\mathbf{\tilde{A}}\mathrm{ReLU}(\mathbf{\tilde{A}}\mathbf{X}\mathbf{W}_{0})\mathbf{W}_{1}

where \mathbf{W}_{i} denotes weight matrix, \mathbf{\tilde{A}}=\mathbf{D}^{-\frac{1}{2}}\mathbf{A}\mathbf{D}^{-\frac{1}{2}}

        ⑥\mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) 和 \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})共享\mathbf{W}_{0}的参数???什么玩意儿??为啥有俩,是引用了之前的什么高斯吗?

        ⑦Generative model:

p\left(\mathbf{A}\mid\mathbf{Z}\right)=\prod_{i=1}^{N}\prod_{j=1}^{N}p\left(A_{ij}\mid\mathbf{z}_{i},\mathbf{z}_{j}\right)

with p\left(A_{ij}=1 | \mathbf{z}_i,\mathbf{z}_j\right)=\sigma(\mathbf{z}_i^\top\mathbf{z}_j)

where \sigma \left ( \cdot \right ) represents the logistic sigmoid function

        ⑧Loss function:

\mathcal{L}=\mathbb{E}_{q(\mathbf{Z}|\mathbf{X},\mathbf{A})}\big[\log p\left(\mathbf{A}\left|\mathbf{Z}\right)\right]-\mathrm{KL}\big[q(\mathbf{Z}\left|\mathbf{X},\mathbf{A}\right)\|p(\mathbf{Z})\big]

where Gaussian prior p(\mathbf{Z})=\prod_{i}p(\mathbf{z_{i}})=\prod_{i}\mathcal{N}(\mathbf{z_{i}} | 0,\mathbf{I})

        ⑨作者觉得对于非常稀疏的邻接矩阵A,在损失函数中重新加权a) A_{ij}=1的项,或b) A_{ij}=0的子样本项可能是有益的。然后它们选择了a) 方法。

        ⑩If there is no node features, replace \mathbf{X} by indentity matrix

        ⑪Reconstruct adjacency matrix by non-probabilistic graph auto-encoder (GAE) model:

\mathbf{\hat{A}}=\sigma(\mathbf{Z}\mathbf{Z}^\top) , \mathrm{with}\quad\mathbf{Z}=\mathrm{GCN}(\mathbf{X},\mathbf{A})

2.2. Experiments on link prediction

        ①Prediction task: randomly delete some edges and keep all the node features

        ②Validation/Test set: deleted edges and unconnected node pairs with the same number

        ③Connection contained: 5% for val set and 10% for test set

        ④Epoch: 200

        ⑤Optimizer: Adam

        ⑥Learning rate: 0.01

        ⑦Hidden dim: 32

        ⑧Latent variable dim: 16

        ⑨Embedding dim: 128

        ⑩Performance comparison table with mean results and std error for 10 runs:

where * means w/o node features

3. Reference

Kipf, T. N. & Welling, M. (2016) 'Variational Graph Auto-Encoders', NIPS. doi: https://doi.org/10.48550/arXiv.1611.07308

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/864272.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DL/T 645与modbus协议是否兼容,有何关系?

不兼容。645是电表协议,modbus是通用控制协议,两个是平行关系,两个协议都可以使用485通信协议(物理接口协议)进行传输,或传输介质与物理接口相同,软件协议不同。 Modbus有以下三种通信模式 在…

ARM功耗管理软件之时钟电源树

安全之安全(security)博客目录导读 思考:功耗管理软件栈及示例?WFI&WFE?时钟&电源树?DVFS&AVS? 目录 一、时钟&电源树简介 二、时钟树示例 三、电源树示例 一、时钟&电源树简介 时钟门控与自…

Victor CMS v1.0 SQL 注入漏洞(CVE-2022-28060)

前言 CVE-2022-28060 是 Victor CMS v1.0 中的一个SQL注入漏洞。该漏洞存在于 /includes/login.php 文件中的 user_name 参数。攻击者可以通过发送特制的 SQL 语句,利用这个漏洞执行未授权的数据库操作,从而访问或修改数据库中的敏感信息。 漏洞详细信…

论文阅读_优化RAG系统的检索

英文名称: The Power of Noise: Redefining Retrieval for RAG Systems 中文名称: 噪声的力量:重新定义RAG系统的检索 链接: https://arxiv.org/pdf/2401.14887.pdf 作者: Florin Cuconasu, Giovanni Trappolini, Federico Siciliano, Simone Filice, Cesare Campag…

App测试技术(纯理论)

之前我们也学习过一些普通用例的设计, 如功能, 性能, 安全性, 兼容性, 易用性, 界面的测试用例设计, 之前我们讲的基本都是对于Web应用而言的, 这里我们来讲一下移动端的App测试用例设计. 功能方面 安装&卸载测试 这是只属于App的一类测试, 再平常我们使用移动设备(手机…

【第11章】MyBatis-Plus条件构造器(上)

文章目录 前言一、功能详解1. allEq2. eq3. ne4. gt5. ge6. lt7. le8. between9. notBetween10. like11. notLike12. likeLeft13. likeRight14. notLikeLeft15. notLikeRight16. isNull17. in18. notIn19. inSql20. notInSql21. eqSqlSince 3.5.622. gtSql Since 3.4.3.223. ge…

Linux4(Docker)

目录 一、Docker介绍 二、Docker结构 三、Docker安装 四、Docker 镜像 五、Docker 容器 六、Docker 安装nginx 七、Docker 中的MySQL部署 一、Docker介绍 Docker:是给予Go语言实现的开源项目。 Docker的主要目标是“Build,Ship and Run Any App,Anywhere” 也…

类和对象【上】【C++】

P. S.:以下代码均在VS2019环境下测试,不代表所有编译器均可通过。 P. S.:测试代码均未展示头文件stdio.h的声明,使用时请自行添加。 博主主页:LiUEEEEE                        …

依托天拓四方工业智能网关实现CNC数控机床的远程运维

随着工业4.0时代的到来,智能制造和工业互联网成为了推动制造业转型升级的重要力量。CNC数控机床作为制造业的核心设备,其运行效率与稳定性直接关系到企业的生产效益。因此,实现CNC数控机床的远程运维,对于提升企业竞争力、降低运营…

安装 Docker 环境(通过云平台创建一个实例实现)

目录 1. 删除原有 yum 2. 手动配置 yum 源 3. 删除防火墙规则 4. 保存防火墙配置 5. 修改系统内核。打开内核转发功能。 6. 安装 Docker 7. 设置本地镜像仓库 8.重启服务 1. 删除原有 yum rm -rfv /etc/yum.repos.d/* 2. 手动配置 yum 源 使用 centos7-1511.iso 和 Xi…

Java [ 基础 ] 方法引用 ✨

✨探索Java基础✨ Java基础:方法引用 方法引用是Java 8中引入的一种新特性,它使得代码更加简洁和易读。方法引用提供了一种可以直接引用已有方法作为Lambda表达式的替代方案。本文将深入介绍方法引用的基本概念、使用方法、具体实例及其在实际开发中的…

【深入浅出 】——【Python 字典】——【详解】

目录 1. 什么是 Python 字典? 1.1 字典的基本概念 1.2 字典的用途 1.3 字典的优势 2. 字典的基本特点 2.1 键的唯一性 2.2 可变性 2.3 无序性 3. 如何创建字典? 3.1 使用 {} 符号 3.2 使用 dict() 工厂方法 3.3 使用 fromkeys() 方法 4. 字…

[工业网络][2] 安全背景知识

安全背景知识 物理、网络和人员安全 在考虑企业和工业的安全性时,安全从业人员传统上将自己划分为三个专业领域。我们借助于安全中经常使用的两个术语来描述这三个领域 业内人士。属于您的设施的人员,包括员工和受邀承包商,访客或交付和服…

K8s的基本使用和认识

目录 介绍 控制端 Node(节点) 控制端与节点的关系图 基本使用 创建和运行资源 查找和参看资源 修改和删除资源 介绍 控制端 api-server(api)是集群的核心是k8s中最重要的组件,因为它是实现声明式api的关键 kubernetes api-server的核心功能是提供了Kubernetes各类资…

应用监控SkyWalking调研

参考: 链路追踪( Skyworking )_skywalking-CSDN博客 企业级监控项目Skywalking详细介绍,来看看呀-CSDN博客 SkyWalking 极简入门 | Apache SkyWalking 使用 SkyWalking 监控 ClickHouse Server | Apache SkyWalking https://zhuanlan.zhihu.com/p/3…

Linux应急响应靶机 2

一、靶机介绍 应急响应靶机-Linux2 前景需要:看监控的时候发现webshell告警,领导让你上机检查你可以救救安服仔吗!! 1,提交攻击者IP 2,提交攻击者修改的管理员密码(明文) 3,提交第一次Webshell的连接URL(http://xxx.xxx.xxx.…

【每日刷题】Day78

【每日刷题】Day78 🥕个人主页:开敲🍉 🔥所属专栏:每日刷题🍍 🌼文章目录🌼 1. 1608. 特殊数组的特征值 - 力扣(LeetCode) 2. 1385. 两个数组间的距离值 - …

R可视化:好看的气泡图

加载R包 library(tidyverse) library(camcorder)gg_record(dir "tidytuesday-temp", device "png", width 8, height 8, units "in", dpi 320)导入数据 team_results <- readr::read_csv(https://raw.githubusercontent.com/rfordata…

设置Docker中时区不生效的问题

项目中使用docker-compose&#xff0c;并通过以下方式设置了时区 environment:- SET_CONTAINER_TIMEZONEtrue- CONTAINER_TIMEZONEAsia/Shanghai 但是并没有正确生效&#xff0c;网上有很多博客都在推荐这个做法&#xff0c;另外一种是使用标准环境标量 -TZAsia/Shangehai …

24 年程序员各岗位薪资待遇汇总(最新)

大家好&#xff0c;我是程序员鱼皮。今天分享 24 年 6 月最新的程序员各岗位薪资待遇汇总。 数据是从哪儿来的呢&#xff1f;其实很简单&#xff0c;BOSS 直聘上有一个免费的薪酬查询工具&#xff0c;只要认证成为招聘者就能直接看&#xff0c;便于招聘者了解市场&#xff0c;…