13日前

UGNCL:効率的なクロスモーダルマッチングのための不確実性誘導型ノイズ付き対応学習

{Jianjia Cao, Nannan Wang, Xing Xu, Yiu-ming Cheung, Xin Liu, Quanxing Zha}
要約

近年、マルチモーダルデータ間の検索を促進するため、クロスモーダルマッチングが注目を集めている。既存の手法は、トレーニングデータペアが完全に整合しているという暗黙の仮定に大きく依存している。しかし、実際にはデータペアの不整合(いわゆるノイズ付き対応、noisy correspondence)が避けられず、この理想的な仮定は極めて現実的ではない。このような不整合データペアが誤って類似性を強制されると、モデルの性能低下を引き起こすリスクがある。近年のいくつかの研究ではこの問題に対処しようとしているが、依然として以下の2つの課題に直面している:1)トレーニング効率を損なう信頼性の低いデータ分割、および2)マッチング失敗を引き起こす不安定な予測。これらの課題を解決するため、本研究ではノイズに強いクロスモーダルマッチングを実現する効率的な「不確実性誘導型ノイズ付き対応学習(Uncertainty-Guided Noisy Correspondence Learning, UGNCL)」フレームワークを提案する。具体的には、導出された不確実性の潜在的な利点を活用して、データを「クリーン」「ノイズあり」「ハード(難易度が高い)」の3つのパーティションに信頼性高く分割する新たな「不確実性誘導分割(Uncertainty Guided Division, UGD)」アルゴリズムを設計した。これにより、容易に識別可能なノイズペアの影響を効果的に軽減できる。同時に、ハードパーティション内のデータペアに対して、不確実性を介して信頼性の高い誤差付きソフトラベルで補正されたソフトマージンを再定式化する「信頼性高いロス(Trusted Robust Loss, TRL)」を明示的に設計した。これにより、マッチしたペアの重要性を増加させ、不一致ペアの重要性を低下させ、ノイズペアの影響をさらに軽減し、モデルのロバスト性を向上させる。3つの公開データセットを用いた広範な実験により、提案フレームワークの優位性が確認され、最先端手法と比較しても競争力のある性能を示した。コードは以下のURLで公開されている:https://github.com/qxzha/UGNCL。

UGNCL:効率的なクロスモーダルマッチングのための不確実性誘導型ノイズ付き対応学習 | 最新論文 | HyperAI超神経