HyperAIHyperAI

Command Palette

Search for a command to run...

NAC:近傍補助補正器を用いたクロスモーダルマッチングにおけるノイズ付き対応の低減

Shao-Lun Huang Jian Xu Haoming Huang Yuqing Li

概要

クロスモーダルマッチングにおけるノイズの含まれる対応関係は、従来のマッチング手法の性能を著しく低下させている。本論文では、類似したテキストターゲットを示唆する近傍情報を活用することでノイズを軽減する、堅牢なフレームワーク「Neighbor Auxiliary Corrector(NAC)」を提案する。NACは、類似したテキストがしばしば類似した画像に対応するという観察に基づいている。事前学習された言語モデル(Pre-trained Language Models: PLMs)のゼロショット能力を活用し、各正例の画像-テキストペアに対して上位k個の近傍を特定する。その後、これらの近傍から得られる補助情報を用いて、サンプルの検証と修正を実施する。ベンチマークデータセットにおける広範な実験により、本フレームワークが性能を顕著に向上させ、さまざまなレベルのノイズのある対応関係に対してより高いロバスト性を示すことが実証された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています