ノイズのある対応関係を用いた学習

本稿では、ノイズのあるラベルに対する新たな学習枠組みである「ノイズ付き対応（Noisy Correspondence, NC）」について検討する。従来の研究で広く扱われているノイズラベルは、サンプルのカテゴリラベルにおける誤りに注目しているが、NCは二つのデータポイント間の対応関係（アライメント）における誤りを指す。特にインターネットから収集されたデータにおいて、このような誤検出ペア（false positive pairs）は一般的であるが、多数の既存研究ではこれを無視している。本研究では、クロスモーダル検索を具体例として、ノイズ付き対応を扱うための手法「ノイズ付き対応による学習（Learning with Noisy Correspondence, LNC）」を提案する。LNCは、まず元データから粗いクリーンデータとノイズデータのサブセットを抽出し、新たな適応型予測関数を用いて誤った対応ペアを修正する。その後、ソフトマージンを備えた新たなトリプレット損失関数を導入することで、クロスモーダル検索のNCに対するロバスト性を高める。提案手法LNCの有効性を検証するため、画像-テキストおよび動画-テキスト検索タスクにおいて6つのベンチマークデータセットを用いた実験を実施した。実験結果は、LNCの有効性を示すとともに、標準的なモデル学習枠組みだけでなく、事前学習（pre-training）およびファインチューニング（fine-tuning）の枠組みにおいても、NCに対して明示的な対処が不可欠であることを示している。