ESS: Lernen der ereignisbasierten semantischen Segmentierung aus statischen Bildern

Die Gewinnung genauer semantischer Informationen unter anspruchsvollen Bedingungen hoher Dynamik (HDR) und hoher Geschwindigkeit bleibt für bildbasierte Algorithmen ein offenes Problem, da durch starke Bildverzerrungen die Qualität der Bilddaten stark leidet. Ereigniskameras versprechen, diese Herausforderungen zu bewältigen, da sie eine deutlich höhere Dynamikbreite aufweisen und gegenüber Bewegungsunschärfe robust sind. Dennoch befindet sich die semantische Segmentierung mit Ereigniskameras noch in den Anfängen, was hauptsächlich an der fehlenden Verfügbarkeit hochwertiger, annotierter Datensätze liegt. In dieser Arbeit stellen wir ESS (Event-based Semantic Segmentation) vor, das dieses Problem durch die direkte Übertragung der semantischen Segmentierungsaufgabe von bereits annotierten Bild-Datensätzen auf unlabeled Ereignisdaten mittels unsupervisierter Domänenanpassung (UDA) löst. Im Gegensatz zu bestehenden UDA-Methoden aligniert unser Ansatz rekurrente, bewegungsinvariante Ereignis-Embeddings mit Bild-Embeddings. Dadurch benötigt unsere Methode weder Videodaten noch pixelgenaue Ausrichtung zwischen Bildern und Ereignissen und vor allem nicht die Illusion von Bewegung aus statischen Bildern. Zudem führen wir DSEC-Semantic ein, den ersten großskaligen, ereignisbasierten Datensatz mit fein abgestuften Annotationen ein. Wir zeigen, dass ESS allein unter Verwendung von Bild-Labels bestehende UDA-Ansätze übertrifft und, kombiniert mit Ereignislabels, sogar state-of-the-art supervisierte Ansätze sowohl auf DDD17 als auch auf DSEC-Semantic erreicht. Schließlich ist ESS allgemein verwendbar, was die enorme Menge bereits vorhandener annotierter Bild-Datensätze erschließt und neue, spannende Forschungspfade in bisher für Ereigniskameras unzugänglichen Bereichen eröffnet.