摘要
图神经网络（GNNs）在学习图结构数据的表示方面表现出强大的能力。大多数GNN采用消息传递方案，其中节点的嵌入通过迭代聚合其邻居的信息来更新。为了更好地表达节点的影响，注意力机制逐渐流行起来，用于在聚合过程中为节点分配可训练的权重。尽管基于注意力的GNN在各种任务中取得了显著成果，但对其区分能力的理解尚不清晰。在这项工作中，我们对采用注意力机制作为聚合器的GNN的表示性质进行了理论分析。我们的分析确定了所有情况下这些基于注意力的GNN无法区分某些不同的结构。这些情况的发生是由于在基于注意力的聚合中忽略了基数信息。为了提高基于注意力的GNN的性能，我们提出了保持基数信息的注意力模型（Cardinality Preserved Attention, CPA），该模型可以应用于任何类型的注意力机制。我们在节点分类和图分类上的实验验证了我们的理论分析，并展示了CPA模型的竞争性能。