PST900: RGB-Wärmebild-Kalibrierung, Datensatz und Segmentierungsnetzwerk

In dieser Arbeit schlagen wir die Verwendung von Langwelleninfrarotbildern (LWIR) als sinnvolle ergänzende Modalität für die semantische Segmentierung mittels lernbasierter Techniken vor. Zunächst behandeln wir das Problem der RGB-Thermokamera-Kalibrierung durch die Einführung eines passiven Kalibrierungszieles und eines Verfahrens, das sowohl tragbar als auch einfach zu handhaben ist. Zweitens präsentieren wir PST900, einen Datensatz bestehend aus 894 synchronisierten und kalibrierten Paaren aus RGB- und Thermobildern mit pixelgenauen menschlichen Annotationen über vier unterschiedliche Klassen aus der DARPA Subterranean Challenge. Schließlich stellen wir eine CNN-Architektur für eine schnelle semantische Segmentierung vor, die sowohl RGB- als auch Thermobilder kombiniert, wobei die RGB-Bilder unabhängig genutzt werden. Wir vergleichen unsere Methode mit dem Stand der Technik und zeigen, dass unsere Methode auf unserem Datensatz die bestehenden Ansätze übertrifft.