HyperAIHyperAI

Command Palette

Search for a command to run...

差別的領域に基づく多ラベルのゼロショット学習

Sanath Narayan* 1 Akshita Gupta* 1 Salman Khan2 Fahad Shahbaz Khan2,3 Ling Shao1 Mubarak Shah4

概要

多ラベルゼロショット学習(ZSL)は、自然画像中に複数の物体が共存するため、標準的な単一ラベルZSLのより現実的な対応となります。しかし、複数の物体の存在は推論を複雑にし、視覚特徴のコンテキスト情報を保つために領域特異的な処理が必要となります。既存の最良の多ラベルZSL手法は、すべてのクラスに対して共通のアテンションマップを使用して領域特徴に注目する共有アプローチを採用しています。このような共有マップは、クラス数が多い場合に関連する位置に選択的に注目できないため、拡散した注意を招きます。さらに、空間的にプーリングされた視覚特徴をクラス意味論にマッピングすると、クラス間での特徴量の絡み合いが生じて分類性能が低下します。本研究では、領域ベースで識別性を保つ多ラベルゼロショット分類への代替アプローチを提案します。当方針では、領域レベルの特性を保つために空間解像度を維持し、領域とシーンコンテキスト情報を組み合わせることで特徴量を豊かにするバイレベルアテンションモジュール(BiAM)を利用します。このように豊かになった領域レベルの特徴量は、クラス意味論にマッピングされ、その後そのクラス予測のみが空間的にプーリングされて画像レベルの予測を得ます。これにより多クラス特徴量が絡み合わないように保持されます。我々の手法は、大規模な多ラベルゼロショットベンチマークであるNUS-WIDEとOpen Imagesにおいて新たな最先端性能を達成しました。NUS-WIDEにおいては、既存の最高結果と比較して6.9%絶対値改善のmAP(平均精度)を得ています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています