题目： GRAPH-BERT : Only Attention is Needed for Learning Graph Representations

摘要： 

本文提出目前图神经网络（GNN）过度依赖图链接，而出现了一些问题，比如目前看得到的几个严重的问题，如suspended animation问题和过度平滑问题。更重要的是，内在的相互连接特性阻止了图数据中的并行化，这对于大型图数据非常重要。在本文中，作者将引入一种新的图神经网络，即GRAPH-BERT（基于图的BERT），它完全基于注意力机制而没有任何图卷积或聚合算子。该方法不用完整的大的输入图来训练Graph-BERT，而是在局部上下文中用抽取的无链接子图来训练Graph-BERT。Graph-BERT可以在独立模式下有效地学习。如果有任何监督的标签信息或特定的应用导向的标签可用，那么这个预先训练的Graph-BERT可以直接转移到其他应用任务中，或者进行必要的微调。作者在几个图基准数据集中测试了GRAPH-BERT的有效性。在预训练的GRAPH-BERT具有节点属性重构和结构恢复任务的基础上，进一步针对节点分类和图聚类任务进一步优化GRAPH-BERT。实验结果表明，GRAPH-BERT在学习效果和效率上都可以胜过现有的GNN。

本文的主要贡献：

链接：https://arxiv.org/abs/2001.05140

公众号关注图网络、图表示学习，最近顶会顶刊动态以及机器学习基本方法，包括无监督学习、半监督学习、弱监督学习、元学习等。干货分享，欢迎关注