HyperAIHyperAI

Command Palette

Search for a command to run...

自己注意メッセージ伝達による対照的少ショット学習

Ojas Kishorkumar Shirekar Anuj Singh Hadi Jamali-Rad

概要

人間は、わずかな例からほとんど監督なしに新しい表現を学習するという独特の能力を持っています。一方、深層学習モデルは満足できるパフォーマンスを発揮するためには大量のデータと監督が必要です。非監督少ショット学習(U-FSL)は、この機械と人間のギャップを埋める研究分野です。グラフニューラルネットワーク(GNNs)が複雑なサンプル間関係を発見する能力に着想を得て、私たちはU-FSLの事前学習のために新たな自己注意に基づくメッセージ伝播対照学習手法(SAMP-CLR)を提案します。また、最適輸送(OT)に基づく微調整戦略(OpT-Tuneと呼ぶ)も提案し、これにより当社の新規エンドツーエンド非監督少ショット分類フレームワーク(SAMPTransfer)に効率的にタスク認識を導入します。我々の広範な実験結果は、SAMPTransferがさまざまな下流少ショット分類シナリオにおいて有効であることを裏付けており、miniImagenetおよびtieredImagenetベンチマークでU-FSLにおける新たな最先端性能を達成しています。それぞれ最大7%以上と5%以上の改善をもたらしています。さらに調査した結果、SAMPTransferは困難なクロスドメインシナリオにおいて既存のすべてのU-FSLベースラインを上回り、miniImagenetではいくつかの監督ベースラインと同等の性能を示すことが確認されました。私たちのコードはGitHubリポジトリ(https://github.com/ojss/SAMPTransfer/)で公開されています


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています