HyperAIHyperAI

Command Palette

Search for a command to run...

幾何学的構造の一貫性によるノイジー対応の軽減学習

Zihua Zhao Mengxi Chen Tianjie Dai Jiangchao Yao Bo Han Ya Zhang Yanfeng Wang

概要

モーダル間データペアにおけるノイジーコレポンデンス、すなわち不一致は、人間が注釈したデータセットやウェブクロールされたデータセットで一般的に見られます。これまでのこれらのデータを活用する手法は、主に単一モーダルのノイジーラベル学習に焦点を当てており、マルチモーダル学習におけるモーダル間およびモーダル内幾何構造への影響を修正していません。実際には、両方の構造が適切に確立されると、構造的な違いを通じてノイジーコレポンデンスを効果的に識別できることがわかりました。この観察に基づいて、我々は幾何構造の一貫性(Geometrical Structure Consistency: GSC)という方法を導入し、真の対応関係を推論します。具体的には、GSCはモーダル間およびモーダル内の幾何構造の保存を確保し、構造的な違いに基づいてノイジーサンプルを正確に識別します。これらの推論された真の対応ラベルを使用することで、GSCはノイジーサンプルを取り除くことで幾何構造の学習を洗練します。4つの異なるモーダル間データセットでの実験結果から、GSCがノイジーサンプルを効果的に識別し、現行の最先端手法よりも大幅に優れていることが確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています