结婚照,鬼怪-返利网路,网络购买计划,返回利润,闲散新配置


【新智元导读】DeepMind & Google最新论文提出图匹配网络,用于类似性学习问题,在几大图相关使命中功能超过了规范图网络GNN和其他模型。

一种新的图匹配网络,在几个图相关使命中均胜过精心counter规划的神经网络模型和根据规范GNN的图嵌入模型。

本文介绍来自DeepMind & Google的一篇ICML论文:《用于学习图结构目标类似性的图匹配网络》。


地址:

https://arxiv.org/pdf/1904.12787.pdf

这篇论文针对图结构目标的检索与匹配这一具结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备有挑战性的问题,做了两个要害的奉献。

首要,作者演示了怎么练习图神经网络(GNN)在向量空间中生成图嵌入,然后完成高效的类似性推理

其次,作者提出了一种新的图匹配网络(Graph Matching Network)模型,给出一对图形作为输入,经过一种新的根据注意力的跨图匹配机制(cross-graph attention-based matching mechanism),对图对进行联合推理,核算出一对图之间的类似度评分。

论文证明晰该模型在不同范畴的有用性,包括具有挑战性的根据操控流图(control-flow-杨会珍graph)的函数类似性查找问题,该问题在软件体系缝隙检测中具有重要作用。

试验剖析标明,图匹配模型不只能够在类似性学习的布景下运用结构,而且还能够胜过针对这些问题精心手艺规划的范畴特定的基线体系。

图结构目标的类似性学习问题

图是编码联系结构的一种天然的表明,这种联系结构在许多范畴都会遇到。经过图结构数据界说的核算被广泛运用于各范畴,从用于核算生物学和化学的分子剖析,到天然语言了解的知识图或图结构解析的剖析。

近年来,图神经网络(GNNs)已成为一种有用的学习结构化数据表明和处理根据图的各种监督猜测问题的模型。通结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备过迭代地聚合部分结构信息的传达进程来规划和核算图节点表明,这些模型对图元素的摆放是初夏蔷薇涩不变的。然后,这些节点表明被直接用于节点分类,或许合并到一个图向量中用于图分类。关于GNN,除了监督分类或回归之外的问题的研讨相对较少。

本文研讨了图结构目标的类似性学习问题(similarity learning),该问题在实际国际中绅士的品质有许多重要的运用,尤其是在图数据库中根据类似性的检索。

一个运用是二进制函数核算机安全问题的类似性查找,给定一个或许包括或不包括具有已知缝隙代码的二进制,咱们要查看该二进制中的任何操控流图是否与数据库中已知易受攻击的函数十分类似。

这有助于在关闭源代码软件中辨认易受攻击的静态链接库,这是一个重复呈现的问题,现在没有好的处理方案。

图1显现了该运用的一个示例,其间二进制函数表明为带有汇编指令注释的操控流图。

二进制函数类似性学习问题

这种类似性学习问题十分具有挑战性,由于结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备纤细的差异就能够使两个图在语义上十分不同,而具有不同结构的图依然可所以类似的。

因而,一个成功的模型应该:

(1)运用图的结构

(2)能够从图的结构和所学习的语义推断出图的类似性

为了处理图的类似度学习问题,咱们研讨了GNN在这种情况下的运用,讨论了怎么将图嵌入到向量空间中,并学习这种嵌入模型,使类似的图在向量空钯金价格间中更挨近,而不同的图在向量空间浙江海洋大学中间隔更大。

该模型的一个重要特性是,它将每个图独登时映射到一个嵌入向量,然后一切的类似度核算都在向量空间中进行。因而,能够预先核算和索引大型数据库中的图嵌入,然后能够运用快速的最近邻查找数据结构(如k-d trees)或部分灵敏哈希算法(locality sensitive ha戾shing)完成高效检索。

咱们进一步提出了一种对GNN的扩展,咱们称之为图匹配网络(Graph Matching Networks, GMNs),用于类似性学习。

GMN不是独自核算每个图的表明,而是经过cross-graph的注意力机制来核算类似度评分,以便跨图进行相关节点和辨认差异。经过使图表明核算依赖于对(pair),该匹配模型比嵌入模型更强壮,供给了杰出的精度-核算的权衡。

咱们在三个使命上评价了所提出的模型和基线模型:一个是合成图edit-distance学习使命,仅捕获长智齿牙龈胀痛怎么办结构类似性;以及两个实际国际使命——二进制函数类似性查找和网格检索,这两个使命都需要对结构类似性和语义类似性进行推理。

在一切三个使命上,咱们提出的办法都优于已有的基线模型和结构无关模型;在更具体的融化研讨中,咱们发现图匹配网络一直优于图嵌入模型和S全球零间隔iamese网络。

总结而言,本文的奉献在于:

(1)演示了怎么运用GNN生成用于类似性学习的图嵌入

(2)提出了一种新的图匹配网络,经过根据cross-graph的注意力匹配来核算类似性;

(3)实证成果标明,本文所提出的图类似性学习模型在多个运用中具有杰出的功能,而且优于结构无关模型和已有的基线模型

深度图类似性学习

给定两个图G = (V₁, E₁)G₂ = (V₂,土人 E₂),咱们想要有一个模型来生成它们之间的类似度评分s(G₁, G₂)。每个图表明为G = (V, E),即节点V和边E的调集,恣意一个节点i∈V都能够与一个特征向量x_i相相关,恣意一条边(i, j)∈E都能够与一个特征向量x_ij相相关。这些特征能够表明比如节点的类型、边的方向等。假如一个节点或一条边没有任何相关的特征,咱们就将相应的向量设置为常数向量1。

咱们提出了两种图类似度学习模型:一种是根据慎规范GNN的学习图嵌入模型,以及一种新的、更强壮的GMN模型

两种模型如图2所示。

图嵌入模型(Graph Embedding Models)

图嵌入模型是将每个图嵌入到一个向量中,然后在该向量空间中运用类似性衡量来衡量图之间的相亿馍通似性。咱们的GNN嵌入模型包括三个部分:(1)编码器,(2)传达层,(3)聚合器。

图2:图嵌入模型(左)和图匹配模型(右)

图匹配网络

图匹配网络以一对图作为输入,并核算它们之间的类似度评分。与嵌入模型比较,匹配模型是在“对”的根底上核算类似度的,而不是先将每个图独自映射到一个向量。因而,匹结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备配模型或许比嵌入模型更强壮,但价值是额定的核算功率。

咱们提出百家姓全文如下的图匹配网络,改变了每个传达层中的节点的更新模块,不只考虑每个图边际的聚合信息,也考虑衡量一个节点在一个图中匹配其他一个或多个节点的作用的cross-graph匹配向量:

试验和成果

本节在三个使命上评价了图类似性学习(GSL)结构和图嵌入网络(GNN)和图匹配网络(GMN),并将这些模结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备型与其他竞赛办法进行了比较。

整体而言,试验成果标明,GMN在图类似度学习方面体现优异,一直优于其他办法。

Learning Graph Edit Distances

图G₁和图G₂之间的图修改间隔(Graph edit distance)的界说是将G₁转换为G2所需的最小修改操作数。一般,修改操作包括添加/删去/替换节点和边际。

图的修改间隔天然是图之间类似性的衡量,在图的类似性查找中有许多运用。经过这个试验,咱们证明晰GSL模型能够在极具挑战性的问题上学习图之间的结构类似性。

表1:图嵌入(GNN)和图匹配(GMN)模型与基线的比较

从表1能够看到,经过学习特定散布的图,GSL模型能够比一般基线做得更好,而GMN一直优于嵌入模型(GNN)。

图3:图匹配模型cross-graph attention的可视化

关于GMN,咱们能够将cross-graph attention可视化,然后进一步了解它是怎么作业的。图3显现了匹配模型的两个比如,cross-graph注意力权重以绿色表明,权重的份额以绿色边的透明度表明。咱们能够看到,当两个图匹配时,注意力权重能够很好地对齐节点,当两个图不匹配时,注意力权重往往会集在度数较高的节点上。但是,这种形式并不像规范注意力模型那样具有可解释性。

根据操控流图的二进制函数类似性婚纱照价格查找

二进制函数类似性查找(Binary function similarity search)是核算机安全中的一个重要问题。当咱们无法访问源代码时,例如在处理商业或嵌入式软件或可疑的可执行程序时,就需要剖析和查找二进制文件。结合反汇编器和代码剖析器,咱们能够提取一个操控流图(CFG),它以结构化格局包括二进制函数中的一切信息。

在CFG中,每个节点都结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备是拼装指令的基本块,节点之间的边表明操控流,例如在分支、循环或函数调用中运用的跳转或回来指令表明。

本节中,咱们将针对缝隙查找问题,其间运用已知存在一些缝隙的二进制代码片段作为查询,并经过一个库查找,找到或许具有相同缝隙的类似二进制代码。

成果如图4所示,评价了不同模型在不同传达步数和不同数据设置下的功能。

图4:不同模型在二焚天之怒进制函数类似性查找使命中的功能

成果很显然:

(1)跟着传达步数添加,图嵌入模型和匹配模型的功能都不断增高;

(2)在传达步数满足的情况下,图嵌入模型一直优于基线;

(3)图结婚照,鬼魅-返利网路,网络购买方案,回来赢利,清闲新装备匹配模型在一切设置和传达步数的情况下都优于嵌入模型。

表2:函数类似性查找使命的更多结听话药果

表2总结了更多试验,成果标明:

(1)GNN嵌入模型是有竞赛力的模型(比GCN模型更强壮);

(2)运用Siamese网络结构在图表明的根底上学write习类似度优于运用预先指定的类似度衡量;

(3)在核算进程的前期,GMN优于Siames星际传奇e模型,说明晰planbar跨图信息通讯的重要性。

论文:

https://arxiv.org/pdf/1904.12787.pdf

 关键词: