Web Service Network Embedding based on Link Prediction and Convolutional Learning
这是我读研的第一篇论文，也是花了好几天的时间。
基于链接预测和卷积学习的Web服务网络嵌入
摘要：为了在许多基本任务中，如基于Web的软件服务聚类、推荐和组合等任务达到最佳效果，人们已经做出了大量努力来开发高效的特征提取算法。然而，现有方法的一个共同问题是，挖掘的特征依赖于问题，导致在不同应用中的泛化能力较差。最近的研究表明，我们可以将网络数据（如引文网络和社交网络）表示为低维向量，并保留丰富的结构和内容信息，这可以极大地促进许多下游任务的发展，如分类和聚类。本文主要研究Web服务网络嵌入问题，其目的是通过对mashupapi组合结构和服务功能内容进行编码，学习低维向量来表示服务。我们首先提出了一种新的概率主题模型来预测服务网络中mashup和api之间的潜在联系。然后，我们开发了一个服务图卷积网络（Service-GCN）来学习服务的向量表示，其中每个服务（例如Mashup或API）通过网络上相邻服务之间的消息传递形成其表示。我们评估了下游分类和聚类任务的两个真实数据集上的网络嵌入质量。实验结果表明，与最新技术相比，我们的方法在服务分类方面的平均性能提高了20.7%（Micro-F1），在Mashup聚类方面的平均性能提高了19.0%（准确率），这验证了所提出的学习Web服务向量表示的方法的有效性。
索引术语：软件服务、Web服务、表示学习、网络嵌入、主题模型
1.引言
面向服务的体系结构(SOAs)的出现极大地改变了软件系统开发的潮流，从单片的、静态的和集中的结构到模块化的、动态的和分布式的结构。作为一个整体，系统(也就是Mashup)通常是通过组合一组基于web的交互式软件服务(例如API服务)来设计和实现的，其中每个服务提供对一组明确定义的功能的访问。另一方面，Internet上广泛的Web服务的积累对许多现实世界的问题提出了严峻的挑战，如服务分类或集群、服务发现、服务组合和服务注释。克服这些问题将大大简化分布式软件应用程序的开发过程。例如，根据功能对Web服务进行分类将帮助用户更好地掌握整个服务库的功能结构。特定功能域内的垂直服务检索将极大地减少搜索空间，提高匹配精度。
然而，这些分析任务和应用程序的一个关键挑战是寻找有效的服务表示（例如，低维向量），通过这些表示可以准确计算服务之间的功能相似性。传统方法主要探索服务描述内容，并学习一个主题分布向量来表示每个Web服务。例如，为了获得聚类任务的Web服务表示，Shi等人提出了一个单词嵌入增强主题模型，该模型利用朋友单词来重新定义主题学习。类似地，为了支持质量Web服务推荐，Cao等人提出了一个两层主题学习模型，从功能描述中导出mashup的表示。然而，现有方法的一个常见问题是，获取的表示通常依赖于任务，编码信息仅有益于给定任务。此外，使用主题模型学习的服务表示可能没有细粒度或区分性来衡量服务之间的紧密程度，即主题分布向量表示一组离散概率值，这些离散概率值不足以揭示服务之间的距离或相似性。
除了内容信息之外，服务通常彼此之间有频繁的连接，进而形成一个复杂的服务链接网络，其中节点可以是Mashup和API服务，边表示它们之间的组合关系。网络结构通过边缘连接内在地揭示了服务之间丰富的显式和隐式语义关联（例如，相似的功能属性），即链接到一个完全相同的API服务的两个mashup可以具有相似的功能属性。最近的网络科学研究表明，我们可以从复杂的网络结构中学习节点的向量表示，该网络结构假设具有相似拓扑结构的节点具有相似的表示。在本文中，我们关注Web服务网络嵌入，其目的是通过一个低维向量来表示每个服务（例如Mashup和API），并保留服务之间的功能相似性。该研究基于三个观察结果：1）网络中具有直接链接（如组合关系）的Mashup和API具有类似的功能（如语义相关）；2） 网络中链接到相同API服务的两个mashup具有相似的功能；3） 如果两个服务具有相似的功能，那么它们应该具有相似的向量表示。
此外，大量研究表明，一个复杂的网络可能会受到许多缺失链接的影响。例如，在社交网络中，两个用户没有链接不是因为他们不是朋友，而是因为他们可能不知道对方的存在。类似地，Mashup并不构成API服务，这并不意味着它们在功能上不同，而是因为选择了其他类似的API服务。由于我们的目标是在相似向量表示中映射具有类似功能的服务，因此探索潜在/缺失的组合关系将增强网络中Mashup和API服务之间的相关性，从而丰富表示学习。
综上所述，为了学习信息性和区别性服务表示，我们认为有必要同时对观察到的网络链接、潜在链接和服务描述内容进行编码。图1示出了学习目标。我们整合网络结构（例如，观察到的和潜在的链接）和内容信息（例如，描述和标签）来学习服务的低维表示，这样具有相似拓扑结构（例如，节点对<2,3>和<4,6>）的服务可以映射为嵌入空间中的相似服务（例如，在二维欧氏空间中附近）为了实现这一目标，我们首先提出了一种新的概率主题模型来预测Mashup和API服务之间的潜在链接关系。然后，我们采用一种有效的卷积学习模型来学习具有保存的服务网络结构和内容信息的服务表示。
总之，我们的贡献是三个方面的：
1.我们提出了一个基于注意力的关系主题模型，Att-RTM，从Web服务文本内容和组合关系中学习潜在的主题，然后使用它来预测Web服务之间的潜在关系。本文提出了一种注意力机制，利用标签作为先验信息突出文本内容中与功能相关的词，从而有效地进行主题学习和组合链接预测。
2.我们开发了基于图卷积网络的Service-GCN，将网络结构和内容信息结合起来用于Web服务表示学习。在卷积学习过程中，每个服务通过聚合来自所有链接邻接服务的特征来形成其表示。
3.我们通过在两个真实数据集上的三个常见任务描述了学习服务表示的优势。实验结果验证了我们提出的方法的有效性。
本文的其余部分组织如下。第2节调查相关工作。第3节阐述了Web服务网络嵌入的问题。第4节介绍了链路预测和卷积表示学习模型。第5节描述了实验评估。第6节讨论了所研究的问题和方法。最后，第7节对全文进行了总结。
2.相关工作
在本节中，我们将回顾与研究问题相关的现有工作，包括Web服务表示学习和网络表示学习。
2.1 Web服务表示学习
Web服务表示学习通常作为许多基本任务的核心组件出现，如Web服务聚类、注释和软件开发中的推荐，其中服务需要表示为数字向量，以实现相似性度量和计算。
Platzer等人利用向量空间模型（VSM）用高维向量表示服务描述，每个关键字构成相关维度。VSM的一个明显缺点是，向量的维数受词汇量的影响，这可能会遇到维数灾难和特征稀疏的问题。Ma等人提出使用奇异值分解（SVD）来表示潜在语义空间中的服务。它可以显著降低特征向量的维数，同时捕获Web服务之间的概念级相似性。然而，奇异值分解的计算复杂度很高，特别是当输入特征矩阵很大时。为了解决这个问题，研究人员将注意力转移到基于潜在主题的Web服务特征表示上。例如，Cassar等人提出使用概率潜在语义分析（PLSA）和潜在Dirichlet分配（LDA）从服务描述中提取语义，然后用低维主题向量表示每个服务。然而，只有在提供大量训练数据时，naıve PLSA和LDA模型才能很好地工作。由于特征稀疏性（例如，短文本）和噪声（例如，无关词）的现实情景，学习服务的质量表示是有问题的。为了缓解这些问题，Li等人和Cao等人建议使用服务之间的链接关系来改进描述语义提取和表示学习，其中链接服务被假定具有相似的主题分布。Shi el al.提出了一个单词嵌入增强LDA模型，该模型利用朋友词重新定义每个当前采样单词的主题分配和语义表示。
然而，上述方法通常以内容为中心，尽管很少有工作将服务组合链接用作辅助信息。明显的缺点是它们无法明确地建立服务之间的丰富结的关系结构。近年来，一些工作将重点放在基于网络的服务表示学习上，因为网络中具有相似拓扑结构的服务是用相似向量表示的。例如，Adeleye等人采用了一种基于随机游走的嵌入方法来嵌入Web服务网络，其中节点关系通过网络上的截断随机游走来捕获。我们之前的工作提出了一种基于转换的方法，其中每个Mashup服务的表示都必须和所有成员API服务的组合表示类似。但是，该方法仅对Web服务之间的直接链接关系进行建模。正如前面所讨论的，可以挖掘潜在的链接以增强网络中服务之间的关系。现有的研究主要集中在无监督的服务表示学习上。事实上，不同功能的Web服务通常来自不同的功能域或类别，这些域信息可以被视为标签，以便以有监督的方式设计更有效的表示学习过程。
相比之下，我们提出了一种通过同时编码观察到的网络结构、潜在网络结构和内容信息来嵌入 Mashup和API服务的新方法。此外，我们的模型通过端到端监督分类和表征学习进行训练，这与现有方法截然不同。
2.2一般网络表示学习
一般来说，现有的网络表示学习方法可以分为两类:结构保持和属性保持。
结构保持方法只编码网络结构信息，如节点间的邻接关系。DeepWalk首先在整个网络上执行截断的随机漫步，以捕获邻接关系。然后，采用一种有效的神经模型Skip-Gram来推导网络中所有节点的表示。Node2vec采用了比DeepWalk更灵活的方式来捕捉网络连接模式的多样性。设计了一种二阶随机游走策略对邻接节点进行采样，可以紧密嵌入属于同一网络社区的节点。类似地，LINE被提出用于大规模网络嵌入，它可以同时编码一阶(如直接邻居)和二阶(如2跳邻接)节点密切关系。然而，上述方法忽略了从非结构角度捕捉节点相似性的丰富节点内容信息。
属性保持方法寻求同时编码网络结构和内容信息。Tu等人提出了一种利用节点标签信息的半监督网络嵌入方法MMDW。它基于DeepWalk派生的矩阵分解进行表示学习。Chen等人和Huang等人也提出加入节点标签来进行表示学习，其中具有相同标签的节点映射到嵌入空间中相近的位置。近年来的研究表明，文本内容是能够改善基于结构的表示学习的有益辅助信息，特别是在网络结构稀疏的情况下。例如，Le等人提出了一种结合了链接关系和内容信息的平面模型，用于大规模引文网络表示学习。然而，平面只考虑了观测到的直连链路，精度的提高过度依赖于网络连接密度。Yang等人提出了一种基于矩阵分解的方法，利用丰富的文本内容来细化网络结构，但计算代价非常高。Liao等人提出了一种属性辅助的方法，通过保留基于结构(如全球网络结构)和基于属性(如性别、位置和文本描述)的邻近性来嵌入社会网络。
3.问题定义及初步探讨
本节定义了Web服务网络嵌入（WSNE）的问题，然后介绍了一些预备知识。术语网络嵌入和网络表示学习可以互换使用。
3.1问题定义
定义一：网络服务
定义二：组合关系
定义三：Web服务网络
WSNE的形成
3.2准备工作
WSNE包含两个连续的部分：1）预测mashup和API之间的潜在链接；2）学习Web服务的向量表示。在本文中，提出的链路预测模型是从关系主题模型（RTM）扩展而来的，卷积服务表示学习建立在图卷积网络（GCN）的基础上。本节简要介绍RTM和GCN的学习机制。
3.2.1关系主题模型
RTM是文档及其链接的模型。对于每一对文档，RTM将它们的链接建模为一个二进制随机变量，该变量取决于它们的文本内容。因此，RTM可被视为能够基于节点内容预测网络中节点之间的关系的预测模型，即基于网页内容的相似性预测网页之间的超链接。
3.2.2图卷积网络
GCN从传统的卷积神经网络扩展到直接对图结构数据进行学习。给定一个输入网络G = （V，E，X），其中V和E是节点和边的集合。X∈ R | V |×ℎ (ℎ 是特征的数量）是所有| V |节点的特征矩阵（例如Web服务的文本内容），即Xj ∈ Rℎ 是节点vj的特征向量。GCN学习向量表示hvi ∈ Rd 对于每个节点vi∈ V通过保留其网络结构和内容信息。GCN采用卷积学习过程，其中每个节点vi从所有有链接的邻居N(vi)中聚合信息，例如，V1生成其向量表示通过聚集（例如，平均池）来自图2所示的邻居（例如，包括自身）V3、V4、V5和V1的特征。该卷积学习过程可以表示为：
其中，W∈R(hxd)是可学习参数，b是偏置。f是一个激活函数，例如Relu激活函数：f(x)=max(0,x)。h(vj)∈R(h)是初始化特征向量，例如，h(vj)=X(j)，h(vi)∈R(d)是节点vi的向量表示输出。对于一个单层GCN，对于所有基于公式1的节点向量表示X(1)∈R(|V|xd)可以被写成：
其中，A=D(-1/2)(A+I)D(-1/2)是正交化对称邻接矩阵，A是网络G的邻接矩阵，I是单位矩阵，D(ii)是次数矩阵。单层GCN仅捕获表示学习的一阶邻接关系。为了保持高阶关系，可以堆叠更多的GCN层，同时为所有在第k层的节点提供新的表示的计算公式：
4.方法概述
该方法由两部分组成：Web服务链接预测和Web服务网络嵌入学习。它们的描述如下。
4.1 Web服务链接预测
这项研究的目的是在类相似的向量表示中映射功能相似的Web服务。输入是一个Web服务网络，包含服务的链接结构和文本内容，如图3所示。如前所述，mashup和api之间的潜在联系有助于增强表示学习。例如，当Mashup和API具有相似的文本内容，但网络中没有直接链接时，由于采用卷积表示学习依赖于通过图2所示边缘链接的特征，因此无法有效地捕获内容相似性。为了解决这个问题，我们提出了一个新的主题模型来预测服务网络中潜在链接的缺失，该模型可以根据mashup和api的文本内容预测它们之间的链接。
我们提出的主题模型从RTM扩展而来（参考第3.2.1节）。基本的RTM通过同等处理所有组成词来学习文档的主题分布。然而，Web服务文本内容是面向功能的，这意味着一些词与功能相关，而另一些词则不太相关。这一观察启发我们在推断服务潜在主题的同时突出功能相关词。我们根据服务文本内容中每个单词与相应服务功能标签的相似程度（如语义相似性）量化其重要性。为此，我们使用Word2vec将所有单词和标签映射到一个统一的语义空间，在该空间中可以计算单词和标签之间的语义相似性。Word2vec是一种浅层神经网络模型，用于表示具有低维向量的单词，能够捕获单词之间的语义相关性，即已知同义词在学习空间中是封闭的，而反义词往往具有更大的距离。假设我们已经基于Word2vec获得了单词和标签的语义向量，一个单词w(a,i)的重要度或注意力权重p(a,i)可通过以下公式计算：
其中，WE(w(a),i)和WE(t(a),j)表示单词w(a,i)以及标签t(a,j)的语义向量。FC(tag(a))表示所有与服务a相关的S(a)函数标签的平均语义。
通过对不同词语的不同处理，我们提出了基于注意力的RTM (Att-RTM)用于Web服务链接预测，如图4所示。表1总结了Att-RTM中使用的符号。和RTM相似(指3.2.1节),参数为Att-RTM是T分布，T维主题分布对API或Mashup服务，链接概率函数定义了分布在API和Mashup服务之间的联系。Att-RTM假设API和Mashup服务的文本内容及其链接是由算法1中总结的过程生成的。训练将所有服务文本内容和各自的词注意力权重(如Eq.4)作为输入。首先,模型为每一个主题t(1-3行)生成一个单词分布。然后生成每个API(第5行)和每个Mashup(第13行)的主题分布，同时为每个API(第6-10行)和每个Mashup(第14-18行)生成其所有具有不同注意力权重的组成词。最后，Att-RTM为每对API和Mashup服务生成一个二进制指示符(第20-24行)，这取决于主题分配。
在这篇文章中,我们对于每个Mashup服务根据Eq.11预测前K个最可能丢失的API 服务链接的可能。在这个实验中,我们把K设置为1,因为它提供了最佳的嵌入学习性能(例如,请参阅Fig.9(b)的K的影响)。
4.2Web服务网络嵌入
本节通过基于GCN（参考第3.2.2节）的卷积学习，同时对观察到的服务链接、预测的服务链接（参考第4.1节）和图3所示的服务文本内容进行编码，详细介绍了Web服务网络嵌入。
我们开发了如图6所示的服务GCN，以获得Mashup和API服务的表示，它采用了一种带有监督训练的进化学习机制（参见图2中的插图）。在第一个卷积层，Mashup和API节点都执行特征聚合，以形成各自的表示形式，如下所示：
第一层输出的嵌入向量可以进一步反馈到第二层，用于递归卷积学习，从而捕获Web服务之间的二阶邻域关系。例如，由于图6中节点5的表示在第一层卷积学习之后具有来自节点3的编码特征，当节点7在第二层卷积学习中再次聚集来自节点5的特征时，节点3的特征将并入节点7的新嵌入向量中。在第二个集合层，Mashup和API服务的嵌入向量计算如下（请参阅第3.2.2节的说明）：
5.性能评估
我们通过在两个单词数据集上执行下游任务，包括监督节点分类、无监督节点聚类和节点嵌入向量可视化，来验证学习嵌入向量的性能。
5.1数据集
网络服务：这个数据集已经在原先的研究中被广泛的使用，例如，服务推荐和聚类。它包含19718个Web服务，其中API和Mashup服务的数量分别为13460和6258。API和Mashup服务之间有26246个组合链接。每个服务都与一个功能描述和多个功能标签相关联。每个服务的平均单词数和标签数分别为36和4。在478个域中，每个服务对应一个主要功能域（如“视频”和“音乐”），合成链接率为26246/13460x6258=0.031%，这是非常低的，部分原因是某些功能相关的API和Mashup服务未连接到网络上。
我们根据观察到的和预测的Mashup和API服务之间的链接关系构建Web服务网络。在本文中，由于节点依赖其邻接点进行卷积表示学习，因此可以删除与网络中其他节点没有链接的独立服务。在链路预测之后（例如，预测链路的数量K = 1） ，我们学习基于网络的服务表示，该网络涉及10234个Web服务和38764个链接。
维基：我们还使用一个网页链接网络，它可以类似于一个Web服务网络，即网页和Web服务都以文本内容的形式呈现，链接意味着各自的节点共享相似的文本内容。Wiki包含2405个网页和17981个链接。与Web服务类似，每个Web页面以文本描述的形式呈现，平均647个单词。每个网页都属于17个类别中的一个相关类别，可作为实验中监督训练的标签。由于网页没有标签信息，Att-RTM不能用作链接预测模型。相反，我们使用RTM来预测网页之间的潜在关系。最后，将所有预测链接与原始链接组合，形成一个单一的网页网络。
5.2比较方法
我们比较了下列基础方法：
DeepWalk：该方法仅保留基于整个网络上截断随机漫步的网络结构信息。它使用Skip Gram模型学习节点表示。
Node2vec：与DeepWalk相比，该方法通过同时捕获网络的局部结构和全局结构，采取了更灵活的随机漫步过程。Node2vec只保留网络结构信息。
LINE：它是一种结构保持方法，对局部和全局网络结构进行编码。该方法采用边缘采样算法，克服了经典随机梯度下降算法的局限性，提高了有效性和推理的效率。
RTM：它是一种关系主题模型，利用节点内容和结构信息进行潜在主题学习。它直接使用学习到的潜在主题分布来表示节点。
Att RTM：是图4中提出的用于链路预测的Att RTM模型。与RTM类似，Att RTM学习潜在的主题分布表示服务。与RTM相比，Att RTM的唯一区别在于在推断Web服务的潜在主题时引入了一种注意力机制来突出功能性词语。
PLANE：它是RTM的扩展版本，专门训练潜在的低维向量来表示每个文档节点。节点结构、文本内容和潜在主题保留在最终网络表示中。
TriDNR：该方法同时利用网络结构、节点内容和标签信息进行节点表示学习。它基于这样一种假设，即网络结构和内容可以相互增强，共同表征节点之间的联系。
TWSRL：这是一种主题感知的Web服务表示学习，对统一表示学习编码网络内容和结构。
ARGA：这是一个图自动编码器模型，其中节点嵌入被训练以重构图结构。该方法可以在节点嵌入中保留网络结构和节点内容。
WSNE(nolink)： 这是我们提议的方法的一种变体，不包含链路预测过程。它基于本文提出的Service-GCN模型学习Web服务表示。
WSNE：这是我们提出的方法，它首先基于Att-RTM，在Mashup和API服务之间形成链接预测，然后基于Service-GCN学习服务表示学习。
5.3实验步骤
5.3.1评估任务
在获得基于整个Web服务网络的Web服务矢量表示（参考第5.1节）后，采用三个下游任务来评估学习矢量表示的质量：
监督服务分类：评估网络嵌入方法是一项流行的任务，其目的是根据学习到的表示将Web服务划分为不同的功能类别。
无监督服务聚类：这是一个流行的任务，其目的是将Mashup或API服务分组到各自的功能类别中。我们首先获取Mashup和API服务的嵌入向量，然后基于广泛使用的K-means算法执行无监督聚类。
嵌入向量可视化：为了直接比较Web服务嵌入的结果，我们基于t-SNE将服务嵌入向量可视化到二维空间中。通常，来自相同功能域的Web服务以相似的向量表示，因此应该在二维空间中闭合。
由于不同功能类别中的Web服务数量存在高偏差，因此包含极少数量服务的类别将显著影响总体分类和集群性能。因为该算法会使大多数服务类别的训练产生偏差，而使少数服务类别的训练不足。因此，我们选择表2中所示的前20个类别来评估所有基线方法。
5.3.2评估标准
WSNE执行有监督的服务分类，而对于其他方法，我们首先在训练数据上使用线性核构建支持向量机分类器，然后预测测试数据中所有节点的标签。性能通过两个广泛使用的指标进行评估：
对于无监督聚类任务，使用K-均值算法对不同基线的学习服务表示进行聚类。与之前的工作类似，我们采用了四个广泛使用的指标来比较聚类性能。它们是精度（Acc）、精度、F1度量（F1）和归一化交互信息（NMI）。这些测量值越大，通过相应方法学习的服务表示的性能越好。
5.3.3参数设置
无论是在经验上还是在实验上，我们的方法都需要许多超参数。为了训练提出的Att-RTM模型，根据先前的经验，主题数量(T ) 设置为100，参数α，β，η分别设置为0.1、0.05和2.0。对于Service-GCN模型的监督训练，我们随机抽样 具有已知用于训练的功能类别的Web服务节点的数目的p%。其余节点分为验证集和测试集，其中10%用于参数优化，90%用于测试。为了比较，rest参数的默认设置如下。链路预测过程中预测的API服务数量(K)设置为1。我们使用1-layer Service-GCN作为默认模型。我们还将其与2-layer Service-GCN进行比较，其中第一层(r ) 第二层(d) 嵌入维度设置为输入网络中涉及的服务功能类别总数。训练率（p) 从10%到70%不等，其中对于每个比率，模型训练400次，SGD学习率等于0.02。我们使用丢失和正则化技术来缓解过度匹配问题，其中Service-GCN 1的丢失率和L2标准权重衰减设置为0.3和3e-5。对于每个训练样本的每个给定的比率（p)， ，实验重复20次，记录平均结果和标准偏差。
对于其他基线方法，我们使用文献中建议的参数设置，其中提出了这些方法。请通过Github第1页上提供的链接参考它们的实现细节。
5.4实验结果
5.4.1Web服务分类结果
对于表3所示的Web服务分类结果，我们有以下主要观察结果：
1） 一般而言，TriDNR、TWSRL和WSNE等内容保留方法的性能优于仅保留网络结构的方法，如Deep-Walk和LINE。这是因为节点内容是描述节点之间属性的有用信息，特别是当网络连接稀疏时。然而，Web服务网络的节点内容可能包含噪声，这可能导致次优的嵌入结果。例如，与Att-RTM相比，基于RTM的方法（如RTM和PLANE）的性能相对较差，因为它们在主题训练和服务相似度计算中平等地处理所有单词特征（例如，功能词和噪声词）。
2） 在所有基于结构的方法（即DeepWalk、LINE和Node2vec）中，Node2vec在表3中观察到的服务表示学习中表现最好。原因是Node2vec采用了更灵活的相邻采样策略，该策略在广度优先采样和深度优先采样之间进行插值，以确定服务之间的功能关系。从表3中，我们还可以观察到Att-RTM显著优于基本RTM模型。这是因为服务功能描述中有着不相关或嘈杂的词汇特征。Att-RTM中引入的注意力机制有助于在学习Mashup和API服务的基于主题的表示时突出功能相关词。
3） 我们可以观察到，在大多数情况下，WSNE的结果优于TWSRL和TriDNR。有两个可能的原因。首先，尽管这三种方法都对服务结构和内容信息进行了编码，但WSNE比TriDNR和TWSRL更有效。因为在特征学习中，它采用监督训练，可以自动提取与分类任务一致的重要特征。第二，WSNE 对网络上的所有节点采用卷积学习范式，允许API和Mashup服务对一阶组合关系进行编码，以实现高效的表示学习。相反，TWSRL采用了基于translation的学习，其中只有Mashup服务可以对表示学习的组合关系进行编码。与仅对一阶合成关系建模的WSNE相比， TriDNR它依赖于整个网络上的随机漫步过程来捕获服务之间的高阶关系，这可能会产生噪声，因为游走中的两个API服务可能具有不同的功能，并且在嵌入空间中应该不同。此外，如表3所示，所提出的方法WSNE有了很大的改进。这表明，预测API和Mashup服务之间的潜在组合链接有助于丰富服务网络连通性和增强服务表示学习。
我们进一步进行Friedman-Nemenyi测试，以比较表3中不同训练率下Macro-F1和Micro-F1平均结果的不同方法。在实验中，Friendman零假设被拒绝的p值=0.05。表3中各种方法计算的p值为1.4E-13，这意味着不同嵌入方法的结果不同。然后，我们进行Nemenyi后续检验，以检验各个方法之间的显著差异。我们可以从图6（a）中观察到，WSNE仅与LINE、Att -RTM、PLANE、RTM和Deep-Walk显著不同，其中相应的通用语言效果大小（CLES）分别为0.98、1.0、1.0、1.0和1.0。Friedman-Nemenyi检验不能明显区分WSNE和其他基线方法（包括TWSRL、ARGA和Node2vec）之间的差异。然而，表3中的测试表明，在不同的训练率下，WSNE明显优于其他基线。
5.4.2 Web服务聚类结果
我们通过无监督聚类任务比较所有基线方法。对于每个基线，使用K-means算法对表2所示的前20个功能类别中的服务的学习服务表示进行聚类。对于K-means算法，我们将聚类数设置为20，对应于20个相应的功能域。图7（a）显示了Mashup服务聚类性能，我们可以得出结论，同时保留网络结构和内容的方法（如WSNE、ARGA和TWSRL）通常比仅保留网络结构的方法（如DeepWalk和LINE）性能更好，这与服务分类结果的观察结果一致。Att-RTM始终优于RTM w.r.t 所有的指标，这再次证明了对功能相关词给予更高的注意力而不是平等处理所有词是重要的。与其他方法相比，所提出的WSNE模型改善很大，即WSNE的平均准确度比TWSRL提高了19.0%，这验证了与其他方法相比，学习的嵌入向量在区分不同功能簇方面更有意义。类似的观察结果可以从图7（b）中的API服务聚类结果中得出。有趣的是，观察到WSNE在API服务集群中比在Mashup服务集群中实现了更明显的改进。原因可能是API的功能没有mashup复杂，因此很容易学习API服务在不同功能域中的不同表示。
5.4.3 Web网页分类与聚类结果
我们还使用Web网页网络（例如，类似于Web服务网络）评估WSNE，通过进行有监督的网页分类和无监督的网页聚类来获取数据。对于表4中的分类结果，我们可以观察到，与RTM等其他基线相比，WSNE并没有显著改善（例如p等于10%）和ARGA（例如，当p相当于10%或50%）关于Macro-F1。然而，WSNE的Micro-F1性能始终优于其他方法，即与ARGA和TWSRL相比，平均Micro-F1的性能分别提高了8.4%和13.3%。与其他方法相比，WSNE的显著优势有三：1）预测网络中节点之间的潜在链接关系有助于丰富和改进节点表示学习；2） 基于GCN的卷积学习能够有效获取网络中节点之间的关系；3） WSNE采用端到端的有监督训练，从标签信息中获益，有效学习有意义的节点表示，即具有相同标签的节点映射为相似表示。图6（b）显示了不同方法组的Nemenyi测试及其分类结果，如表4所示。我们可以观察到，WSNE与LINE、DeepWalk和PLANE相比有显著不同，后者的通用语言效果大小分别为0.56、0.94和1.0。此外，表4中的测试表明，与Micro-F1结果相比，WSNE明显优于所有其他基线方法。
对于图7（c）中的网页聚类结果，我们可以得出以下两个主要观察结果。首先，与除Node2vec外的其他方法相比，WSNE在所有四个评估指标方面都优于其他方法。其次，WSNE与Node2vec w.r.t F1（Acc和精度的综合测量）没有显著差异。但WSNE比Node2vec具有更好的NMI性能，这意味着WSNE可以在集群之间产生更明显的边界。
5.4.4 Web嵌入向量可视化
我们可视化在二维空间中服务的低维向量，以获得对嵌入结果的直观观察（参见第5.3.1节）。所选10个功能类别的RTM、Att-RTM、Node2vec和WSNE w.r.t的可视化结果如图8所示，其中x和y 轴表示服务在欧几里得空间中的位置。所提出的Att-RTM模型生成的服务表示比RTM更具意义，即social类别中的服务彼此之间更紧密。这是因为RTM只是平等地处理服务文本内容中的单词，而Att-RTM可以将更多的注意力分配给功能相关单词，而不是无关单词，这有助于学习改进的服务主题表示。此外，我们还可以观察到，Node2vec和WSNE比Att-RTM和RTM产生了更有意义的可视化结果，这与服务分类（表3）和服务聚类（图7（a）和（b））中观察到的比较一致。WSNE在不同功能类别的服务之间呈现出更明显的边界，这证明了所提出的模型在学习有意义的低维Web服务表示方面的有效性。
5.4.5卷积层和预测链路的影响
我们将WSNE模型分别与1层和2层服务GCN进行了比较。从图9（a）可以看出，无论是Macro-F1还是Micro-F1，单层模型都优于双层模型。其主要原因是，虽然2层模型允许在嵌入空间中保留服务之间的二阶关系，但它同时会在网络上的API服务之间强制进行不相关的特征传播，因为在special Mashup中组成的API成员通常呈现不同的功能属性。换句话说，链接到同一Mashup的不同成员API节点（例如，图5中的节点1和节点5）是不同的，它们之间的特征共享可能会恶化服务之间的关系。图9（b）显示了为每个Mashup服务预测的API服务的数量(K ) 的影响。我们可以观察到在1之后更大的K值往往产生差的表现。
6.讨论
Web服务的低维向量表示是许多下游应用的基础，包括Web服务功能分类和功能聚类，这为比较Web服务之间的功能相似性提供了一种有效的方法。我们认为，在Web服务的向量表示中保留网络结构和内容信息是必要的。然而，本文采用的卷积学习依赖于丰富的结构链接来捕获服务之间的相似性，这促使我们基于服务文本内容之间的相似性来预测潜在的网络链接。我们执行下游分类和聚类任务，以验证学习向量表示的质量。不同Web服务类别的评估结果差异很大，如图9（c）所示。最近的研究表明，当多个类别的样本数量不平衡时，总体结果可能会受到样本数量很少的类别的影响。因此，我们选择包含大多数服务的前20个类别来评估所有基线方法。
通过比较，我们得出结论：WSNE , TWSRL和TriDNR显著优于其他以内容为中心的方法，这回答了第一个研究问题（参见第3.1节），即以网络为中心的方法可以有效学习有意义的服务表示。第二个研究问题（参考第3.1节）是通过观察WSNE有监督嵌入学习优于带有无监督的训练的以网络为中心和以内容为中心的基线。最后，我们观察到，与WSNE相比，WSNE获得了很大的性能增益 , 回答了第三项本文提出的问题（参见第3.1节）。
尽管图9（a）中的比较表明采用1-layer Service-GCN仅保留一阶结构关系是合理的，但是我们认为研究服务之间的高阶相关性是有希望的。例如，如果两个Mashup服务有一些共同的成员API服务，那么它们的功能相似性可以使用2-layer Service-GCN进行建模。
7.总结
在本文中，我们研究了一个Web服务网络嵌入问题，该问题旨在通过保留网络结构和内容信息，用低维向量表示Web服务。我们分析了预测Web服务之间缺失或潜在组合链接的必要性。为了提高预测精度，我们提出了一种基于功能注意力的概率模型Att-RTM，该模型可以突出功能相关词，同时推断服务的潜在主题。为了执行服务嵌入学习，我们采用了Service-GCN，以有效捕获服务文本内容和结构链接，用于监督向量表示学习。Att-RTM模型可以进行FLINE训练，且Service-GCN的复杂性与GCN相同，后者为O(|E|d), 其中| E |是网络上的边总数，并且d是服务表示的维度。
我们在两个真实数据集上进行了实验来评估所提出的方法。结果表明：1）Web服务文本内容可能含有噪声词，有助于突出功能词；2） Att-RTM模型能够有效地表示潜在主题；3） 我们的对于服务表示的深度框架显著优于最先进的方法。
