部分ラベルを用いた多ラベル認識のための異種セマンティック転送

部分ラベル付き多ラベル画像認識（MLR-PL）は、各画像に対して一部のラベルが既知である一方で他のラベルが未知である状況を扱います。この方法はアノテーションのコストを大幅に削減し、大規模なMLRを促進する可能性があります。私たちは、各画像内および異なる画像間で強い意味的相関が存在することを見出しました。これらの相関は、既知のラベルが持つ知識を転送して未知のラベルを推定し、それによってMLR-PLタスクの性能を向上させるのに役立ちます（図1参照）。本研究では、画像内の意味的相関と異なる画像間の意味的相関の両方を探求する2つの補完的な転送モジュールから構成される新しい異種語義転送（HST）フレームワークを提案します。具体的には、画像内語義転送（IST）モジュールは各画像に対して画像固有のラベル共起行列を学習し、これらの行列に基づいて既知のラベルを使用して未知のラベルを補完します。さらに、異なる画像間での転送（CST）モジュールはカテゴリ固有の特徴量プロトタイプ類似度を学習し、対応するプロトタイプとの類似度が高い未知のラベルを補完するために使用されます。最後に、既知のラベルと生成された疑似ラベルを使用してMLRモデルを訓練します。Microsoft COCO、Visual Genome、Pascal VOC 2007データセットにおける広範な実験結果から、提案したHSTフレームワークは現行最先端アルゴリズムよりも優れた性能を達成することが示されました。特に、最高性能を持つ従来開発されたアルゴリズムとの比較において、3つのデータセット上でそれぞれ1.4%、3.3%、0.4%の中間平均精度（mAP）向上が得られました。