2ヶ月前

REPAIR: 順位相関と記憶を用いたノイジーペアの半置換

Zheng, Ruochen ; Hong, Jiahao ; Gao, Changxin ; Sang, Nong
REPAIR: 順位相関と記憶を用いたノイジーペアの半置換
要約

取得したデータにノイズが存在することは、クロスモーダルマッチングの性能低下を引き起こすことが避けられません。残念ながら、マルチモーダル分野で正確なアノテーションを得ることはコストがかかります。これにより、クロスモーダルマッチングの文脈においてノイジーコレポンデンス(noisy correspondence)と呼ばれるデータペアの不一致問題に対処するためのいくつかの手法が提案されています。しかし、これらの既存のノイジーコレポンデンス手法には以下の制限があります:a) 自己強化的な誤差蓄積の問題、b) ノイジーデータペアの不適切な取り扱い。これらの2つの問題を解決するために、我々はメモリバンクを維持してマッチングされたペアの特徴を保存することから恩恵を受けられる一般化フレームワークであるランク相関とノイジーペア半置換メモリ(Rank corrElation and noisy Pair hAlf-replacing wIth memoRy, REPAIR)を提案します。具体的には、各モダリティごとにメモリバンク内の特徴とターゲットペアの特徴との距離を計算し、この2つの距離集合間のランク相関を使用してターゲットペアのソフト対応ラベルを推定します。メモリバンクの特徴に基づいてソフト対応を推定することで、類似性ネットワークを使用する場合に生じる誤った識別による誤差蓄積を避けることができます。完全に不一致しているペアについては、REPAIRはメモリバンクから最も適合する特徴を探し出し、一方のモダリティの一特徴を置き換えます。これは元のペアを使用するか、または不一致したペアを単純に破棄する方法とは異なります。我々は3つのクロスモーダルデータセット(Flickr30K, MSCOCO, および CC152K)上で実験を行い、REPAIRが合成ノイズおよび実世界ノイズに対して効果的かつ堅牢であることを証明しました。

REPAIR: 順位相関と記憶を用いたノイジーペアの半置換 | 最新論文 | HyperAI超神経