Command Palette
Search for a command to run...
幾何学的構造の一貫性によるノイジー対応の軽減学習
幾何学的構造の一貫性によるノイジー対応の軽減学習
Zihua Zhao Mengxi Chen Tianjie Dai Jiangchao Yao Bo Han Ya Zhang Yanfeng Wang
概要
モーダル間データペアにおけるノイジーコレポンデンス、すなわち不一致は、人間が注釈したデータセットやウェブクロールされたデータセットで一般的に見られます。これまでのこれらのデータを活用する手法は、主に単一モーダルのノイジーラベル学習に焦点を当てており、マルチモーダル学習におけるモーダル間およびモーダル内幾何構造への影響を修正していません。実際には、両方の構造が適切に確立されると、構造的な違いを通じてノイジーコレポンデンスを効果的に識別できることがわかりました。この観察に基づいて、我々は幾何構造の一貫性(Geometrical Structure Consistency: GSC)という方法を導入し、真の対応関係を推論します。具体的には、GSCはモーダル間およびモーダル内の幾何構造の保存を確保し、構造的な違いに基づいてノイジーサンプルを正確に識別します。これらの推論された真の対応ラベルを使用することで、GSCはノイジーサンプルを取り除くことで幾何構造の学習を洗練します。4つの異なるモーダル間データセットでの実験結果から、GSCがノイジーサンプルを効果的に識別し、現行の最先端手法よりも大幅に優れていることが確認されました。