HyperAIHyperAI

Command Palette

Search for a command to run...

マルチモーダル分類器におけるバイアス除去:機能エントロピーの最大化による正則化

Itai Gat Idan Schwartz Alexander Schwing Tamir Hazan

概要

近年の多くのデータセットは、視覚質問応答(VQA)における画像、質問、回答など、多様なデータモダリティを含んでいる。これらのマルチモーダルデータセット上で深層ネットワーク分類器を訓練する際、各モダリティは異なるスケールで活用され、あるモダリティが他のモダリティよりも分類結果に容易に寄与する傾向がある。これは非最適であり、分類器がモダリティの一部に本質的なバイアスを抱えているためである。この問題を緩和するため、本研究では関数エントロピーに基づく新しい正則化項を提案する。直感的には、この正則化項は各モダリティが分類結果に与える寄与を均等にするよう促進する。しかしながら、関数エントロピーを用いた正則化は困難である。これを解決するため、対数ソボレフ不等式に基づく手法を開発した。この不等式により、関数エントロピーを関数的フィッシャー情報(functional-Fisher-information)で上界で抑えられる。直感的には、各モダリティが提供する情報量を最大化する効果がある。VQA-CPv2およびSocialIQという2つの困難なマルチモーダルデータセットにおいて、最先端の性能を達成するとともに、モダリティの利用をより均一に実現した。さらに、色付きMNIST(Colored MNIST)においても本手法の有効性を実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています