HyperAIHyperAI

Command Palette

Search for a command to run...

マルチモーダル学習の向上に向けたユニモーダル教師の活用

Chenzhuang Du Tingle Li Yichen Liu Zixin Wen Tianyu Hua Yue Wang Hang Zhao

概要

マルチモーダル表現の学習は、現実世界におけるロボット応用に向けた重要なステップであり、その目的でさまざまなマルチモーダル統合モデルが開発されてきた。しかし、現存するモデルの多くが連合学習(joint training)に基づく目的関数を採用していることから、各モーダルの表現学習が不十分になる傾向があることが観察される。この問題を「モーダルフェイルヤー(Modality Failure)」と命名し、その原因としてモーダル間の不均衡性および統合手法における共通目的関数がもたらす暗黙のバイアスが、各モーダルのエンコーダーによる十分な特徴学習を阻害していると仮説を立てた。これに対応するため、本研究では新たなマルチモーダル学習手法「ユニモーダルティーチャー(Uni-Modal Teacher)」を提案する。この手法は、統合目的関数とユニモーダル蒸留(uni-modal distillation)を組み合わせることで、モーダルフェイルヤー問題に効果的に対処する。実験の結果、本手法は各モーダルの表現能力を著しく向上させるだけでなく、全体的なマルチモーダルタスク性能も向上させることを示した。また、本手法は多数のマルチモーダル統合アプローチに効果的に拡張可能である。VGGSound音声・視覚分類タスクにおいて3%以上の性能向上を達成し、NYU Depth V2のRGB-D画像セグメンテーションタスクにおいても性能改善を確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
マルチモーダル学習の向上に向けたユニモーダル教師の活用 | 記事 | HyperAI超神経