Command Palette
Search for a command to run...
自己注意メッセージ伝達による対照的少ショット学習
自己注意メッセージ伝達による対照的少ショット学習
Ojas Kishorkumar Shirekar Anuj Singh Hadi Jamali-Rad
概要
人間は、わずかな例からほとんど監督なしに新しい表現を学習するという独特の能力を持っています。一方、深層学習モデルは満足できるパフォーマンスを発揮するためには大量のデータと監督が必要です。非監督少ショット学習(U-FSL)は、この機械と人間のギャップを埋める研究分野です。グラフニューラルネットワーク(GNNs)が複雑なサンプル間関係を発見する能力に着想を得て、私たちはU-FSLの事前学習のために新たな自己注意に基づくメッセージ伝播対照学習手法(SAMP-CLR)を提案します。また、最適輸送(OT)に基づく微調整戦略(OpT-Tuneと呼ぶ)も提案し、これにより当社の新規エンドツーエンド非監督少ショット分類フレームワーク(SAMPTransfer)に効率的にタスク認識を導入します。我々の広範な実験結果は、SAMPTransferがさまざまな下流少ショット分類シナリオにおいて有効であることを裏付けており、miniImagenetおよびtieredImagenetベンチマークでU-FSLにおける新たな最先端性能を達成しています。それぞれ最大7%以上と5%以上の改善をもたらしています。さらに調査した結果、SAMPTransferは困難なクロスドメインシナリオにおいて既存のすべてのU-FSLベースラインを上回り、miniImagenetではいくつかの監督ベースラインと同等の性能を示すことが確認されました。私たちのコードはGitHubリポジトリ(https://github.com/ojss/SAMPTransfer/)で公開されています。