HyperAIHyperAI

Command Palette

Search for a command to run...

Übersetzung, Skalierung und Rotation: Kreuzmodale Ausrichtung trifft auf RGB-Infrarot-Fahrzeugdetektion

Maoxun Yuan Yinyan Wang Xingxing Wei

Zusammenfassung

Die Integration multispektraler Daten bei der Objektdetektion, insbesondere sichtbarer (RGB) und Infrarotbilder (IR), hat in den letzten Jahren erhebliche Aufmerksamkeit erhalten. Da RGB- und IR-Bilder ergänzende Informationen liefern, um Lichtvariationen zu bewältigen, werden Paare dieser Bilder in zahlreichen Anwendungen eingesetzt, beispielsweise bei der multispektralen Detektion von Fußgängern, der Zählung von Menschenmengen in RGB-IR-Bildern sowie der RGB-IR-Identifikation auffälliger Objekte. Im Vergleich zu natürlichen RGB-IR-Bildern leidet die Objektdetektion in luftgestützten RGB-IR-Bildern jedoch unter Problemen der schwachen multimodalen Missalignment, die sich in Positions-, Größen- und Winkelabweichungen desselben Objekts äußern. In dieser Arbeit befassen wir uns hauptsächlich mit der Herausforderung der multimodalen schwachen Missalignment in luftgestützten RGB-IR-Bildern. Konkret analysieren wir zunächst die Ursache dieses Missalignment-Problems. Anschließend schlagen wir ein Translation-Scale-Rotation Alignment (TSRA)-Modul vor, das die Problematik durch Kalibrierung der Merkmalskarten beider Modalitäten adressiert. Das Modul schätzt die Abweichung zwischen Objekten beider Modalitäten mittels eines Ausrichtungsprozesses vorher und nutzt eine Modality-Selection-(MS)-Strategie, um die Leistung der Ausrichtung zu verbessern. Schließlich wird ein zweistrombasierter, merkmalsausgerichteter Detektor (TSFADet), basierend auf dem TSRA-Modul, für die Objektdetektion in luftgestützten RGB-IR-Bildern konstruiert. Durch umfassende Experimente auf dem öffentlichen DroneVehicle-Datensatz bestätigen wir, dass unsere Methode die Auswirkungen der multimodalen Missalignment reduziert und robuste Detektionsergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp