HyperAIHyperAI

Command Palette

Search for a command to run...

確率的な対称化を学習して、アーキテクチャに依存しない等変性を実現する

Jinwoo Kim; Tien Dat Nguyen; Ayhan Suleymanzade; Hyeokjun An; Seunghoon Hong

概要

私たちは、群対称性を持つ関数の学習における等変アーキテクチャの制限を克服する新しいフレームワークを提案します。等変アーキテクチャとは異なり、MLPやトランスフォーマーなどの任意のベースモデルを使用し、そのモデルを小さな等変ネットワークによって対称化することで、与えられた群に対して等変にする方法を採用しています。このネットワークは、対称化の背後にある確率分布をパラメータ化します。この分布はベースモデルとエンドツーエンドで訓練され、性能を最大化しながら対称化のサンプル複雑さを削減することができます。本手法は、与えられた群に対する等変性だけでなく、期待値での普遍近似能力も確保することを示しています。私たちはさまざまなベースモデル(事前学習されたビジョントランスフォーマーから初期化できるパッチベースのトランスフォーマーなど)に本手法を実装し、置換群やユークリッド群およびそれらの組み合わせなど、幅広い対称性グループについてテストを行いました。経験的なテストでは、特化した等変アーキテクチャと競合する結果が得られました。これは、非等変の普遍的なベースアーキテクチャを使用して多様な群に対する等変関数を学習する可能性があることを示唆しています。さらに、非対称モダリティ(ビジョンなど)から事前学習することで、グラフのような対称モダリティでの学習が強化される証拠も示しました。コードは https://github.com/jw9730/lps で入手可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています