GeminiFusion：Vision Transformer における効率的なピクセル単位のマルチモーダル融合

クロスモーダルトランスフォーマーは、異なるモダリティを効果的に統合することで、さまざまな視覚タスクにおいて優れた性能を示している。本論文では、従来のトークン交換手法について批判的に検討し、情報量の少ないトークンをモダリティ間特徴で置き換える方式が、クロスアテンション機構に比べて性能が劣ることを示す。一方で、クロスアテンション機構は計算負荷が高いため、長さの長いシーケンスへの適用が必然的に制限される。この計算上の課題を克服するため、本研究では、整列されたクロスモーダル表現を活用するピクセル単位の融合手法であるGeminiFusionを提案する。GeminiFusionは、モダリティ内アテンションとモダリティ間アテンションを巧みに統合し、各モダリティ間で補完的な情報を動的に融合する。さらに、レイヤーごとに適応的に相互作用を制御するため、レイヤー適応型ノイズを導入することで、融合プロセスの調和を実現している。特に、GeminiFusionは入力トークン数に対して線形の計算複雑性を維持しており、単モダリティネットワークと同等の効率性を確保する。RGB、深度、LiDAR、イベントデータなど多様なモダリティを含む、マルチモーダル画像間翻訳、3次元物体検出、任意モダリティセマンティックセグメンテーションといった複数のタスクにおいて、広範な評価を行い、最先端技術と比較して顕著な性能向上を示した。実装コードはPyTorchで提供されており、GitHubにて公開されている：https://github.com/JiaDingCN/GeminiFusion