EV-SegNet: Semantische Segmentierung für ereignisbasierte Kameras

Event-Kameras oder Dynamische Sehsensoren (DVS) sind sehr vielversprechende Sensoren, die gegenüber rahmenbasierten Kameras mehrere Vorteile gezeigt haben. Dennoch konzentriert sich die meisten aktuellen Arbeiten zu realen Anwendungen dieser Kameras auf 3D-Rekonstruktion und 6-freiheitsgradige Kameraverfolgung (6-DOF). Tiefes Lernen-basierte Ansätze, die den Stand der Technik in visuellen Erkennungsaufgaben anführen, könnten potentiell von den Vorteilen des DVS profitieren, jedoch sind noch einige Anpassungen erforderlich, um effektiv mit diesen Kameras zu arbeiten. Diese Arbeit stellt eine erste Baseline für semantische Segmentierung mit dieser Art von Daten vor. Wir entwickeln ein semantisches Segmentierungs-CNN, das auf modernsten Techniken basiert und lediglich Ereignisinformationen als Eingabe verwendet. Darüber hinaus schlagen wir eine neue Darstellung für DVS-Daten vor, die bisher verwendete Ereignisdarstellungen für verwandte Aufgaben übertrifft. Da es keine etikettierten Datensätze für diese Aufgabe gibt, beschreiben wir, wie man approximierte semantische Segmentierungslabels für bestimmte Sequenzen des DDD17-Datensatzes automatisch generieren kann. Diese Labels veröffentlichen wir zusammen mit dem Modell und zeigen ihre Gültigkeit zum Trainieren eines Modells nur mit DVS-Daten. Wir vergleichen unsere Ergebnisse der semantischen Segmentierung aus DVS-Daten mit Ergebnissen aus entsprechenden Graustufenbildern und demonstrieren deren Komplementarität und den Wert ihrer Kombination.