多ラベル画像認識のための意味特異グラフ表現の学習

画像の複数ラベル認識は実践的かつ挑戦的なタスクであり、意味論的な領域の探索やラベル依存関係のモデル化によって大きな進展が見られています。しかし、現在の手法は部位レベルの監督や意味論的なガイダンスが不足しているため、意味論的な領域を正確に特定することができません。さらに、これらの意味論的領域間の相互作用を十分に探究できず、ラベル共起を明示的にモデル化することもできません。これらの課題に対処するために、我々はSemantic-Specific Graph Representation Learning (SSGRL) フレームワークを提案します。このフレームワークには2つの重要なモジュールが含まれています：1) カテゴリーセマンティクスを取り入れて意味論特異な表現学習をガイドするセマンティックデカップリングモジュールと 2) 統計的なラベル共起に基づくグラフ上でこれらの表現を相関させ、グラフ伝播メカニズムを通じてその相互作用を探求するセマンティックインタラクションモジュールです。公開ベンチマークでの広範な実験により、我々のSSGRLフレームワークが現行の最先端手法よりも大幅に優れていることが示されました。例えば、PASCAL VOC 2007 & 2012, Microsoft-COCO, Visual GenomeベンチマークではそれぞれmAP（平均精度）が2.5%, 2.6%, 6.7%, 3.1%向上しました。我々のコードとモデルは https://github.com/HCPLab-SYSU/SSGRL で公開されています。