マルチラベル分類のための意味グラフ埋め込みを用いたクロスモダリティアテンション

マルチラベル画像および動画分類は、コンピュータビジョンにおける基礎的でありながらも困難なタスクである。主な課題は、ラベル間の空間的または時間的依存関係を捉えること、および各クラスに対する判別的特徴の位置を発見することにある。これらの課題を克服するため、本研究では意味的グラフ埋め込みを用いたクロスモダリティ注意力を活用したマルチラベル分類手法を提案する。構築されたラベルグラフに基づき、隣接関係を活用した類似度グラフ埋め込み法を提案し、ラベル間の関係を明示的に捉える意味的ラベル埋め込みを学習する。その後、学習されたラベル埋め込みをガイドとして、新規のクロスモダリティ注意力マップを生成する。2つのマルチラベル画像分類データセット（MS-COCOおよびNUS-WIDE）における実験結果から、本手法が既存の最先端手法を上回ることを示した。さらに、大規模なマルチラベル動画分類データセット（YouTube-8M Segments）においても本手法の有効性を検証した結果、その汎化能力が明確に示された。