HyperAIHyperAI

Command Palette

Search for a command to run...

無監督ミスアライメントフリー適応特徴アライメントによる無人航空機ベースのマルチモーダルオブジェクト検出

Ping Zhong Xikun Hu Ruigang Fu Kangcheng Bin Xingyue Liu Jiahao Qi Chen Chen

概要

無人航空機(UAV)を用いた物体検出に基づく可視赤外線(RGB-IR)画像融合は、大きな潜在能力を示している。しかし、多モーダル画像ペア間の弱い不整合問題が、物体検出における性能を制限している。既存の大多数の手法は、モダリティギャップを無視しつつ厳密なアライメントを重視するため、アライメント品質の上限が生じ、実装コストも増加するという課題がある。本研究では、これらの課題に対処するために、新しい手法「Offset-guided Adaptive Feature Alignment(OAFA)」を提案する。この手法は、多モーダル特徴間の相対位置を適応的に調整可能である。モダリティギャップがクロスモーダル空間マッチングに与える影響を考慮し、正確な特徴レベルのオフセットを推定するための「Cross-modality Spatial Offset Modeling(CSOM)」モジュールを設計した。さらに、厳密なアライメントではなく、物体検出タスクに最適な融合位置を暗黙的に捉えるため、「Offset-guided Deformable Alignment and Fusion(ODAF)」モジュールを導入した。包括的な実験により、本手法がUAVベースの物体検出タスクにおいて最先端の性能を達成するとともに、弱い不整合問題に対して強いロバスト性を示すことが実証された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています