Multimodale Objektdetektion mittels probabilistischer Ensembles

Die Objekterkennung mit multimodalen Eingaben kann viele sicherheitskritische Systeme, wie beispielsweise autonome Fahrzeuge (AVs), erheblich verbessern. Angesichts der Tatsache, dass AVs sowohl tagsüber als auch nachts betrieben werden, untersuchen wir die multimodale Objekterkennung mittels RGB- und Wärmebildkameras, da letztere unter schlechten Beleuchtungsbedingungen deutlich stärkere Objektsignaturen liefert. Wir erforschen Strategien zur Fusionsinformation aus verschiedenen Modalitäten. Unser zentrales Beitrag ist eine probabilistische Ensembling-Technik namens ProbEn, eine einfache, nicht-lernende Methode zur Kombination von Detektionsergebnissen aus mehreren Modalitäten. ProbEn leitet sich aus dem Satz von Bayes und grundlegenden Prinzipien ab, die eine bedingte Unabhängigkeit zwischen den Modalitäten voraussetzen. Durch probabilistische Marginalisierung behandelt ProbEn elegant fehlende Modalitäten, wenn Detektoren nicht gleichzeitig auf dasselbe Objekt reagieren. Wichtig ist, dass ProbEn auch bei Verletzung der Annahme der bedingten Unabhängigkeit die multimodale Erkennung erheblich verbessert, beispielsweise bei der Fusion von Ausgaben anderer Fusionsmethoden (sowohl kommerziell erhältlich als auch intern trainiert). Wir validieren ProbEn an zwei Benchmarks, die sowohl abgestimmte (KAIST) als auch nicht abgestimmte (FLIR) multimodale Bilder enthalten, und zeigen, dass ProbEn die vorherigen Ansätze um mehr als 13 % in relativer Leistung übertrifft!