HyperAIHyperAI

Command Palette

Search for a command to run...

RGB-X オブジェクト検出におけるシーン特異的融合モジュールを用いた手法

Sri Aditya Deevi Connor Lee Lu Gan Sushruth Nagesh Gaurav Pandey Soon-Jo Chung

概要

マルチモーダル深層センサ融合は、自動車がすべての天候条件下で周囲環境を視覚的に理解する可能性を秘めています。しかし、既存の深層センサ融合手法は通常、複雑なアーキテクチャと混在したマルチモーダル特徴量を使用しており、訓練のために大規模なコアレジストレーションされたマルチモーダルデータセットが必要です。本研究では、効率的かつモジュール式のRGB-X融合ネットワークを提案します。このネットワークはシーン固有の融合モジュールを通じて事前学習された単一モーダルモデルを活用し、融合することで、小規模なコアレジストレーションされたマルチモーダルデータセットを使用して共同入力適応型ネットワークアーキテクチャを作成することが可能となります。我々の実験結果は、RGB-熱画像およびRGB-ゲートドデータセットにおいて既存手法よりも優れた性能を示しており、追加パラメータを僅かに使用することで融合を行っています。当該コードは https://github.com/dsriaditya999/RGBXFusion で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています