要約
自然画像における複数の物体や属性に対して、画像の意味情報を効果的に抽出し、対応するラベルを付与することは、シーン構成の複雑さやラベル間の混乱した依存関係のため、困難である。近年の研究では、グラフを用いたラベル関係のモデリングや、クラス活性化マップ（CAM）を活用した物体領域の理解が進められている。しかし、これらの手法は特定の意味特徴間における複雑なカテゴリ内およびカテゴリ間の関係を無視しており、CAMはノイズを含む情報の生成に脆弱である。こうした課題に対応するため、本研究では、サンプル間対照学習（SSCL）とプロトタイプ間対照学習（PSCL）を組み込んだ新しい意味認識型二重対照学習フレームワークを提案する。具体的には、カテゴリ関連の局所的判別特徴を抽出し、カテゴリプロトタイプを構築する意味認識型表現学習を活用する。その後、SSCLにより同一カテゴリのラベルレベルの視覚表現を統合し、異なるカテゴリの特徴を分離する。同時に、新たなPSCLモジュールを構築し、ポジティブサンプルとカテゴリプロトタイプとの距離を縮め、ネガティブサンプルを対応するカテゴリプロトタイプから遠ざける。最後に、上記3つの部分を統合的に学習することで、画像コンテンツに関連する判別性の高いラベルレベル特徴を正確に捉える。5つの挑戦的な大規模公開データセットにおける実験結果から、本手法が有効であり、最先端手法を上回ることを示した。コードおよび補足資料は、https://github.com/yu-gi-oh-leilei/SADCL にて公開されている。