クロスモーダル検索は、実際には手間のかかる大規模なデータセットに依存しています。最近では、高コストのデータ収集を軽減するために、インターネットから共起するペアを自動的に収集して訓練に利用することが行われています。しかし、これには必ずしも不一致のペア（すなわちノイジーな対応）が含まれることが避けられず、教師あり学習の信頼性を損ない、性能を低下させる原因となっています。現在の手法では、深層ニューラルネットワークの記憶効果を利用してノイジーな対応に対処していますが、これは過度にハードネガティブに基づく類似性ガイド訓練に焦点を当てており、自己強化型の誤りに悩まされています。以上の課題を踏まえて、我々は新しいノイジーな対応学習フレームワークである Self-\textbf{R}einforcing \textbf{E}rrors \textbf{M}itigation (SREM) を提案します。具体的には、バッチ内のサンプルマッチングを分類タスクとして捉え、与えられたサンプルに対して分類ロジットを生成します。単一の類似度スコアではなく、エネルギーアンサーティnty（energy uncertainty）を通じてサンプルフィルトレーションを精緻化し、全体的な予測分布に基づいて選択されたクリーンサンプルに対するモデルの感度を交換分類エントロピーを使用して推定します。さらに、我々はハードネガティブ訓練で見落とされるネガティブマッチを利用するためにクロスモーダルバイアス補完学習を提案します。これによりモデル最適化の安定性が向上し、自己強化型の誤りが抑制されます。挑戦的なベンチマークでの広範な実験により、SREM の有効性と効率性が確認されました。