细胞注意力网络

自提出以来，图注意力网络（Graph Attention Networks）在图表示学习任务中取得了卓越的性能。然而，这类网络仅考虑节点之间的成对关系，难以充分捕捉现实世界数据集中广泛存在的高阶交互信息。本文提出了一种新型神经网络架构——细胞注意力网络（Cell Attention Networks, CANs），该架构作用于定义在图顶点上的数据，将图建模为一种细胞复形（cell complex）的1-骨架结构，以有效捕获高阶交互关系。具体而言，我们利用细胞复形中编码的下邻域（lower neighborhood）与上邻域（upper neighborhood）信息，设计了两个独立的掩码自注意力机制，从而对传统的图注意力机制进行了推广。CANs采用分层架构，包含以下三个关键步骤：i）提升算法（lifting algorithm），用于从节点特征中学习边特征；ii）细胞注意力机制，用于在下邻域与上邻域的边特征之间寻找最优组合；iii）分层边池化（hierarchical edge pooling）机制，用于提取紧凑且具有语义意义的特征集合。实验结果表明，CANs是一种计算复杂度较低的策略，在基于图的学习任务中，其性能可与当前最先进的方法相媲美。