Command Palette
Search for a command to run...
部分ラベル付き多ラベル画像認識のための意味意識的な表現ブレンド
部分ラベル付き多ラベル画像認識のための意味意識的な表現ブレンド
Tao Pu Tianshui Chen Hefeng Wu Liang Lin
概要
部分ラベルのみが与えられるマルチラベル画像認識モデルの学習は、非常に挑戦的かつ実践的な課題である。この課題に対処するために、現在のアルゴリズムは主に事前学習された分類または類似性モデルを用いて未知のラベルに対して疑似ラベルを生成することに依存している。しかし、これらのアルゴリズムは十分なマルチラベルアノテーションが必要であり、特に既知のラベルの割合が低い場合、性能が低下する傾向がある。本研究では、異なる画像間でカテゴリ固有の表現を融合することで、既知のラベル情報を未知のラベルに補完し、事前学習モデルへの依存を解消する方法を提案する。これにより、十分なアノテーションに依存せずに未知のラベルを補完することが可能となる。そのために、我々はインスタンスレベルとプロトタイプレベルの意味表現を活用して未知のラベルを補完する統一的な意味意識的な表現融合(Semantic-Aware Representation Blending: SARB)フレームワークを設計した。SARBフレームワークには以下の2つの補完モジュールが含まれている:1) インスタンスレベルでの表現融合(Instance-Level Representation Blending: ILRB)モジュールは、ある画像内の既知ラベルの表現を別の画像内の未知ラベルの表現に融合させることで、これらの未知ラベルを補完する。2) プロトタイプレベルでの表現融合(Prototype-Level Representation Blending: PLRB)モジュールは、各カテゴリに対してより安定した表現プロトタイプを学習し、未知ラベルの表現を対応するラベルのプロトタイプと融合させてこれらのラベルを補完する。MS-COCO, Visual Genome, Pascal VOC 2007データセットにおける広範な実験結果から、提案されたSARBフレームワークは既知ラベル割合に関わらず現行的主要競合手法よりも優れた性能を示しており、特に既知ラベル割合が10%の場合にはmAP(平均精度)がそれぞれ4.6%, 4.0%, 2.2%向上していることが確認された。コードは https://github.com/HCPLab-SYSU/HCP-MLR-PL で公開されている。