HyperAIHyperAI

Command Palette

Search for a command to run...

半教師ありマルチモーダル意味分割におけるモダリティ欠損に対するロバスト性

Harsh Maheshwari Yen-Cheng Liu Zsolt Kira

概要

複数の空間モダリティを活用することは、意味セグメンテーションの性能向上に有効であることが実証されている。しかし、現実世界における以下の課題は依然として解決されていない:(a) ラベル効率の向上、および (b) テスト時にモダリティが欠落する現実的な状況におけるモデルのロバスト性の強化。これらの課題に対処するために、まず、限られた教師信号下でも最先端のマルチモーダルモデルを上回る性能を発揮する、シンプルかつ効率的なマルチモーダル融合機構「Linear Fusion」を提案する。次に、未ラベルデータを活用することで、マルチモーダル性能の向上と、現実的なモダリティ欠落状況に対するロバスト性を両立する、半教師ありフレームワーク「M3L: Multi-modal Teacher for Masked Modality Learning」を提案する。本研究では、半教師ありマルチモーダル意味セグメンテーションのための最初のベンチマークを構築し、モダリティ欠落に対するロバスト性も報告している。提案手法は、最も競争力のあるベースラインに対して、ロバストなmIoUで最大10%の絶対的向上を達成した。コードは以下のURLで公開されている:https://github.com/harshm121/M3L


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
半教師ありマルチモーダル意味分割におけるモダリティ欠損に対するロバスト性 | 記事 | HyperAI超神経