確率的な対称化を学習して、アーキテクチャに依存しない等変性を実現する

私たちは、群対称性を持つ関数の学習における等変アーキテクチャの制限を克服する新しいフレームワークを提案します。等変アーキテクチャとは異なり、MLPやトランスフォーマーなどの任意のベースモデルを使用し、そのモデルを小さな等変ネットワークによって対称化することで、与えられた群に対して等変にする方法を採用しています。このネットワークは、対称化の背後にある確率分布をパラメータ化します。この分布はベースモデルとエンドツーエンドで訓練され、性能を最大化しながら対称化のサンプル複雑さを削減することができます。本手法は、与えられた群に対する等変性だけでなく、期待値での普遍近似能力も確保することを示しています。私たちはさまざまなベースモデル（事前学習されたビジョントランスフォーマーから初期化できるパッチベースのトランスフォーマーなど）に本手法を実装し、置換群やユークリッド群およびそれらの組み合わせなど、幅広い対称性グループについてテストを行いました。経験的なテストでは、特化した等変アーキテクチャと競合する結果が得られました。これは、非等変の普遍的なベースアーキテクチャを使用して多様な群に対する等変関数を学習する可能性があることを示唆しています。さらに、非対称モダリティ（ビジョンなど）から事前学習することで、グラフのような対称モダリティでの学習が強化される証拠も示しました。コードは https://github.com/jw9730/lps で入手可能です。