Deep Learning mit RGB- und Wärmebildern an Bord eines Drohnen zur Überwachung von Betriebsabläufen

Dieser Artikel beschreibt die künstliche Intelligenz (KI)-Komponente eines Drohnen-Systems für Überwachungs- und Patrouillenaufgaben im Rahmen von Katastrophenhilfemissionen unter spezifischen, durch die Advanced Robotics Foundation in Japan definierten Einschränkungen. Die KI-Komponente nutzt tiefe Lernmodelle zur Umwelterkennung und Objekterkennung. Für die Umwelterkennung setzen wir semantische Segmentierung, also eine pixelgenaue Beschriftung, basierend auf RGB-Bildern ein. Die Objekterkennung ist entscheidend für die Erkennung und Lokalisierung von Menschen in Not. Da Menschen aus der Perspektive der Drohne relativ kleine Objekte darstellen, verwenden wir sowohl RGB- als auch Wärmebild-Daten. Zur Schulung unserer Modelle haben wir einen neuartigen, multispektralen und öffentlich zugänglichen Datensatz von Menschen erstellt. Wir nutzten eine geografische Lokalisierungsmethode, um die Position von Menschen am Boden zu bestimmen. Die Modelle zur semantischen Segmentierung wurden umfassend mit verschiedenen Feature-Extraktoren getestet. Zudem haben wir zwei speziell für diesen Zweck erstellte Datensätze entwickelt, die wir öffentlich zugänglich gemacht haben. Im Vergleich zum Baseline-Modell konnte das leistungsstärkste Modell die mittlere Intersection-over-Union (IoU) um 1,3 % steigern. Außerdem verglichen wir zwei Arten von Personen-Erkennungsmodellen: Das erste ist ein Ensemble-Modell, das RGB- und Wärmebildinformationen mittels „später Fusion“ kombiniert; das zweite ist ein 4-Kanal-Modell, das diese beiden Informationsquellen auf „früherer Fusion“-Basis integriert. Die Ergebnisse zeigen, dass das 4-Kanal-Modell im Vergleich zum Ensemble-Modell eine Steigerung der durchschnittlichen Präzision um 40,6 % bei strengeren IoU-Werten (0,75) aufweist und im Vergleich zum reinen Wärmebild-Modell eine Verbesserung um 5,8 % in der durchschnittlichen Präzision erreicht. Alle Modelle wurden auf der NVIDIA AGX Xavier-Plattform implementiert und getestet. Soweit uns bekannt ist, stellt diese Studie die erste Anwendung dar, die sowohl RGB- als auch Wärmebild-Daten aus der Perspektive einer Drohne für Überwachungsaufgaben nutzt.