一句话总结

来自浙江师范大学、香港城市大学、南洋理工大学和剑桥大学的研究人员证明，整合$\text{low-pass}$low-pass和\text{\text{high-pass}}分量能够增强超图神经网络的表达能力，强调高通信号对于捕获局部判别性结构至关重要，并提出了基于sheafet的超图神经网络，将细胞层论与框架变换相结合，实现多尺度谱分解，在基准数据集上优于现有方法。

核心贡献

• 建立了表征低通和高通分量在超图学习中互补作用的理论基础，形式化证明了同时利用两种分量的模型具有更强的表示能力。
• 提出了HyperSheafets，一种基于sheafet的超图神经网络框架，将细胞层论与框架变换相结合，实现多频谱分解，并明确强调高通信号以捕获细粒度的结构变化。
• 通过在多个超图基准数据集上的广泛实证评估验证了该方法的有效性，证明了其相对于现有超图学习模型的一致优越性。

引言

超图扩展了图模型以捕获多个实体之间的高阶交互，这对于复杂关系结构至关重要。尽管超图神经网络（HNN）已从图中借鉴了谱技术和消息传递技术，但HNN的谱设计在很大程度上仍未得到充分探索，尤其是在频率分量方面。大多数现有HNN隐式偏好低频传播或忽视高频信号，而先前将层论与框架变换相结合的工作仅适用于图，不适用于超图。为弥补这一空白，作者提供了严格的理论分析，证明同时整合低通和高通分量能够产生更具表达力和鲁棒性的HNN，其中高通信息对于捕获细粒度结构变化和节点级区分尤为关键。基于这些见解，他们提出了HyperSheafets，一个将细胞层论与框架变换统一起来的新框架，以显式建模超图上的多个频带，并强调高通信号。作者在多个超图基准上实证验证了其主张。

超图捕获多个实体之间的高阶交互，超越了传统图的成对限制，能够实现更丰富的关系表示。尽管超图神经网络（HNN）已从图中借鉴了消息传递和谱技术，但其谱设计仍未得到充分探索，尤其是在频率分量方面：大多数现有HNN要么隐式偏好低频传播，要么忽视高频信号。先前将细胞层论与框架变换相结合的工作仅限于图，不适用于超图，导致高通分量在超图学习中的作用未被研究。作者通过理论分析弥补了这一空白，证明结合低通和高通分量能够显著提高HNN的表达力和鲁棒性，其中高通信息对于捕获细粒度结构变化和节点级区分至关重要。他们随后提出了HyperSheafets，一个将细胞层论与框架变换相结合以显式建模多个频带的框架，并刻意强调高通信号，在多个超图基准上验证了其有效性。

数据集

作者在12个基准超图数据集上评估HyperSheafets，根据同质性特征将其分为两组。

数据集组成与来源

• 八个同质性数据集：Cora、Citeseer、Pubmed、Cora-CA、DBLP-CA、House、Senate和Congress。
• 四个近期引入的异质性超图数据集：Actor、Twitch、Amazon和Pokec。

各子集的关键细节

• 前八个数据集使用50%/25%/25%的训练/验证/测试划分。
• 异质性数据集遵循40%/20%/40%的划分协议以确保公平比较。
• 根据节点级和超边级同质性比率，将数据集分为同质性和异质性类别。
• 数据集统计信息，包括节点同质性（H_node）和边同质性（H_edge），汇总在附录中。

数据使用方式

• 所有模型最多训练1,000个epoch，并采用早停（patience = 200）。
• 结果以10次随机划分上的平均准确率和标准差报告。
• 作者将HyperSheafets与9个基线模型进行比较，包括HGNN、Hyper-GCN、UniGCNII、HyperND、AllDeepSets、AllSetTransformer、ED-HNN、SheafHyper-GNN和HyperUFG。

结果突显了该模型处理复杂高阶关系的强大能力，以及其在同质性和异质性超图结构上的鲁棒性。

方法

作者提出了HyperSheafets，一种基于sheaf的超图神经网络框架，将细胞层论与框架变换相结合，以捕获低频平滑性和高频振荡。该架构通过显式建模多尺度结构信息，旨在增强节点分类任务的泛化能力。

该方法的基础在于超图上细胞层的构造。细胞层$\mathcal{F}$F由与节点关联的顶点茎、与超边关联的超边茎以及将节点特征线性投影到超边上的限制映射定义。这一结构有助于定义线性sheaf超图拉普拉斯算子$\mathcal{L}_{\mathcal{F}}$LF​，作为超图的谱算子。拉普拉斯算子利用限制映射构建，确保信息流动遵循超图的高阶连接模式。

下方框架图概述了HyperSheafets的流程。

基于$\mathcal{L}_{\mathcal{F}}$LF​的谱性质，作者构建了非下采样sheafets，将信号分解为不同的频率分量。这涉及定义用于低通滤波的尺度函数和用于高通滤波的小波函数，二者由sheaf拉普拉斯算子的特征对导出。分解算子将输入特征矩阵分离为多个尺度上的粗逼近（低频）和细节系数（高频）。为确保计算效率并避免完整特征分解的高昂成本，滤波器组使用固定阶数的切比雪夫多项式进行近似。该近似使得分解和重构算子可以表示为拉普拉斯矩阵的多项式函数，从而实现可扩展的实现。

核心神经网络层利用这些sheafet算子执行谱卷积。输入特征首先被投影到更高维空间并重塑以匹配顶点茎表示。前向传播规则通过组合重构的低通和高通分量来聚合信息。具体来说，更新后的节点表示被计算为低通滤波特征和高通滤波细节的加权和，其中权重由可学习的谱滤波器系数和变换矩阵确定。这种双路径设计使模型能够通过低通滤波同时保持全局结构连贯性，并通过高通滤波捕获局部变化和急剧转换，从而解决深度图神经网络中常见的过平滑问题。

实验

HyperSheafets在12个同质性和异质性超图基准上与9个现有模型进行评估，在大多数基准上取得了最先进的结果，在Senate、House、Twitch和Pokec等复杂数据集上表现尤为突出。模型在1到32层中保持稳定的准确率，显示出对过平滑的抵抗能力。在Citeseer和House上的参数敏感性分析表明，少量尺度即足以获得良好性能。消融研究表明，移除高通分量会导致严重性能下降，而移除低通分量影响较小，证实了高频信号的重要性。

HyperSheafets在同质性和异质性数据集上均取得了最先进或具有竞争力的准确率，在具有挑战性的异质性基准上表现尤为突出。模型在更深的架构中保持稳定性能，表明相对于现有超图神经网络具有更强的过平滑抵抗能力。在12个数据集的大多数上持续优于或匹配基线，在Senate、House、Twitch和Pokec等异质性数据集上具有明显优势。在具有代表性的同质性和异质性数据集上，从1层到32层的深度范围内保持稳定准确率，表明过平滑现象有所减轻。

一项移除模型中各频率分量的消融研究表明，省略高通分量会导致所有数据集上严重且一致的性能下降，而移除低通分量仅导致轻微下降。这表明高通信号对于捕获局部变化和保持节点级判别性至关重要，而低通信息对整体性能的贡献相对不那么关键。移除高通分量在每个数据集上都会导致较大的准确率下降，降幅通常超过30个百分点。移除低通分量仅产生轻微的性能下降，在大多数数据集上通常低于2个百分点。高通分量在非同性或结构复杂的设置中尤为关键，其移除会导致最严重的性能退化。

对HyperSheafets的评估涵盖12个数据集，覆盖同质性和异质性设置，展示了最先进或具有竞争力的准确率，在具有挑战性的异质性基准上提升最为显著。该模型在更深的架构（最多32层）中也表现出稳定性能，表明相对于基线具有有效的过平滑抵抗能力。一项移除频率分量的消融研究显示，高通信号至关重要，因为其缺失会导致所有数据集的准确率大幅下降，而移除低通分量仅产生轻微下降。这突显了高通分量在保持节点级判别性方面的重要作用，特别是在非同性或结构复杂的图中。