部分ラベルを使用したマルチラベル認識のための構造化意味転送

多ラベル画像認識は、実世界の画像が本来的に複数の意味ラベルを持つことから、基本的かつ実践的な課題となっています。しかし、入力画像と出力ラベル空間の複雑さにより、大規模な多ラベルアノテーションを収集することは困難です。このアノテーションコストを削減するために、我々は部分的なラベル（つまり、一部のラベルのみが既知で、他のラベルが未知である）を使用して多ラベル認識モデルを学習できる構造化セマンティック転送（SST）フレームワークを提案します。このフレームワークは、画像内および画像間の意味相関を探索し、既知のラベルの知識を未知のラベルに対する疑似ラベル生成に転送する2つの補完的な転送モジュールで構成されています。具体的には、画像内のセマンティック転送モジュールは画像特異的なラベル共起行列を学習し、この行列に基づいて既知のラベルを未知のラベルに補完します。一方、画像間の転送モジュールはカテゴリ特異的な特徴類似性を学習し、高い類似性を持つ未知のラベルを補完するのに役立ちます。最後に、既知および生成された両方のラベルを使用して多ラベル認識モデルを学習します。Microsoft COCO, Visual Genome, および Pascal VOC データセットにおける広範な実験結果は、提案した SST フレームワークが現行の最先端アルゴリズムよりも優れた性能を得ていることを示しています。コードは https://github.com/HCPLab-SYSU/HCP-MLR-PL で公開されています。