ReCon：関係的一貫性を活用した真の対応関係判別による堅牢なノイズ付き対応関係学習の向上

マルチモーダルデータセットに含まれる不一致なデータペアから真の対応関係を正確に同定することは可能か？既存の手法は、異なるモダリティ間のオブジェクト表現の類似性マッチングに主眼を置いており、特に真の対応関係と偽の対応関係を区別する上で極めて重要なモダリティ内における関係的一貫性を無視しがちである。このような無視は、負例（ネガティブ）を正例（ポジティブ）と誤認するリスクを招き、予期せぬ性能低下を引き起こすことがある。この問題に対処するため、本研究では、マルチモーダルデータ内の真の対応関係を正確に識別できる一般化された関係的一貫性学習フレームワーク、すなわちReConを提案する。具体的には、ReConは新たな関係的一貫性学習機構を用いて、二重の整合性制約を実現する。すなわち、異なるモダリティ間のクロスモーダル関係の一貫性と、同一モダリティ内部のイントラモーダル関係の一貫性の両方を同時に保証する。この二重の関係制約により、ReConは真の対応関係を識別する能力が著しく向上し、不一致ペアを信頼性高く除外することで、誤った教師信号による悪影響を効果的に軽減する。Flickr30K、MS-COCO、Conceptual Captionsの3つの広く用いられるベンチマークデータセットを用いた大規模な実験により、ReConが他の最先端手法（SOTA）と比較して優れた有効性と優位性を示すことが実証された。コードは以下のURLから公開されている：https://github.com/qxzha/ReCon。