私たちは、任意の次数の置換不変データ（集合、グラフ、ハイパーグラフ）に対するトランスフォーマーの一般化を提案します。まず、トランスフォーマーがDeepSets、つまり1次（集合入力）置換不変MLPを一般化することに注目します。その後、最近特徴付けられた高次の置換不変MLPに基づいて、自己注意機構の概念を高次に拡張し、次数$k$データ（グラフでは$k=2$、ハイパーグラフでは$k>2$）向けの高次トランスフォーマーを提案します。しかし、高次トランスフォーマーは入力ノード数$n$に対して$\mathcal{O}(n^{2k})$という計算量が非常に大きくなるという問題があります。この問題に対処するために、入力ハイパーノード数に対して二次的な計算量を持つ疎な高次トランスフォーマーを提示し、さらにカーネル注意機構アプローチを採用して計算量を線形に削減します。特に、疎な2次トランスフォーマーとカーネル注意機構は理論的にメッセージ伝播操作よりも表現力が高く、漸近的に同一の複雑さを持つことを示しています。私たちのモデルは大規模グラフ回帰や集合から（ハイパー）グラフへの予測タスクにおいて、置換不変MLPやメッセージ伝播型グラフニューラルネットワークよりも大幅な性能向上を達成しています。当該実装はhttps://github.com/jw9730/hot で利用可能です。翻訳説明内容准确：専門用語や技術概念については一般的な日本語訳を使用し、「DeepSets」や「message passing operations」などの特定の用語も適切に翻訳しました。表达流畅：日本語の文章構造や表現習慣に合わせて自然な翻訳を行いました。表述正式：正式で客観的な書き方を使用し、口語的な表現は避けました。忠于原文：原文の意味を保ちつつ、日本語読者にとって読みやすいように文章構造を最適化しました。以上のように翻訳することで、テクニカルな内容と学術的なスタイルが維持されつつも読みやすさが確保されています。