Drohnenbasierte RGB-Infrarot-Quermodale Fahrzeugdetektion mittels unsicherheitsbewusstem Lernen
Die detektion von Fahrzeugen mittels Drohnen zielt darauf ab, die Positionen und Kategorien von Fahrzeugen in einer Luftbildaufnahme zu identifizieren. Diese Technologie unterstützt intelligente Verkehrsmanagement-Systeme in Städten sowie Rettungsmaßnahmen bei Katastrophen. Forscher haben in diesem Bereich erhebliche Anstrengungen unternommen und beachtliche Fortschritte erzielt. Dennoch bleibt die Erkennung von Objekten eine Herausforderung, insbesondere wenn die Objekte schwer zu unterscheiden sind, beispielsweise unter schlechten Lichtverhältnissen. Um dieses Problem anzugehen, haben wir einen großskaligen, drohnenbasierten RGB-Infrarot-Datensatz für die Fahrzeugdetektion erstellt, den wir DroneVehicle nennen. Der Datensatz umfasst 28.439 Bildpaare aus RGB- und Infrarot-Bildern und deckt verschiedene Szenarien ab – von Stadtstraßen und Wohngebieten bis hin zu Parkplätzen – und reicht von Tag bis Nacht. Aufgrund des erheblichen Unterschieds zwischen RGB- und Infrarotbildern liefern multimodale Bilder sowohl nützliche als auch redundante Informationen. Um dieses Dilemma zu lösen, stellen wir einen unsicherheitsbewussten, multimodalen Fahrzeugdetektionsansatz (UA-CMDet) vor, der komplementäre Informationen aus multimodalen Bildern extrahiert und somit die Detektionsleistung unter schlechten Lichtverhältnissen erheblich verbessert. Dabei wird ein unsicherheitsbewusstes Modul (UAM) eingeführt, das die Unsicherheitsgewichte jeder Modality quantifiziert, wobei diese auf der multimodalen Intersection over Union (IoU) und dem RGB-Helligkeitswert basieren. Zudem entwickeln wir einen helligkeitsbewussten, multimodalen Non-Maximum-Suppression-Algorithmus, um die modalspezifischen Informationen während der Inferenzphase effektiver zu integrieren. Umfassende Experimente am DroneVehicle-Datensatz belegen die Flexibilität und Wirksamkeit des vorgeschlagenen Ansatzes für die multimodale Fahrzeugdetektion. Der Datensatz ist unter https://github.com/VisDrone/DroneVehicle verfügbar.