カラーベースの自己注意機構：Transformerにおけるグラフ構造の符号化に関する新たなアプローチ

我々は、注目スコアの概念を「注目フィルタ」へと拡張し、特徴チャネルを独立して調節する新たな自己注意機構、すなわち CSA（Chromatic Self-Attention）を提案する。このCSAは、グラフ構造情報とエッジ特徴を両方統合する完全な自己注意型グラフ変換器であるCGT（Chromatic Graph Transformer）に組み込まれており、局所的なメッセージパッシング部品を完全に回避する。本手法は、ノード間相互作用を通じてグラフ構造を柔軟に符号化し、相対的な位置符号化スキームを用いて元のエッジ特徴を拡張することで実現する。さらに、ランダムウォークに基づく新しい符号化スキームを提案し、構造的および位置的情報を同時に表現する方法を示すとともに、分子グラフにおけるループといった高次トポロジー情報を組み込む手法も提示する。本アプローチはZINCベンチマークデータセットにおいて最先端の性能を達成するとともに、グラフ構造の柔軟な符号化および高次トポロジー情報の統合を可能とする汎用的なフレームワークを提供する。