HyperAIHyperAI

Command Palette

Search for a command to run...

ESS: Lernen der ereignisbasierten semantischen Segmentierung aus statischen Bildern

Zhaoning Sun Nico Messikommer Daniel Gehrig Davide Scaramuzza

Zusammenfassung

Die Gewinnung genauer semantischer Informationen unter anspruchsvollen Bedingungen hoher Dynamik (HDR) und hoher Geschwindigkeit bleibt für bildbasierte Algorithmen ein offenes Problem, da durch starke Bildverzerrungen die Qualität der Bilddaten stark leidet. Ereigniskameras versprechen, diese Herausforderungen zu bewältigen, da sie eine deutlich höhere Dynamikbreite aufweisen und gegenüber Bewegungsunschärfe robust sind. Dennoch befindet sich die semantische Segmentierung mit Ereigniskameras noch in den Anfängen, was hauptsächlich an der fehlenden Verfügbarkeit hochwertiger, annotierter Datensätze liegt. In dieser Arbeit stellen wir ESS (Event-based Semantic Segmentation) vor, das dieses Problem durch die direkte Übertragung der semantischen Segmentierungsaufgabe von bereits annotierten Bild-Datensätzen auf unlabeled Ereignisdaten mittels unsupervisierter Domänenanpassung (UDA) löst. Im Gegensatz zu bestehenden UDA-Methoden aligniert unser Ansatz rekurrente, bewegungsinvariante Ereignis-Embeddings mit Bild-Embeddings. Dadurch benötigt unsere Methode weder Videodaten noch pixelgenaue Ausrichtung zwischen Bildern und Ereignissen und vor allem nicht die Illusion von Bewegung aus statischen Bildern. Zudem führen wir DSEC-Semantic ein, den ersten großskaligen, ereignisbasierten Datensatz mit fein abgestuften Annotationen ein. Wir zeigen, dass ESS allein unter Verwendung von Bild-Labels bestehende UDA-Ansätze übertrifft und, kombiniert mit Ereignislabels, sogar state-of-the-art supervisierte Ansätze sowohl auf DDD17 als auch auf DSEC-Semantic erreicht. Schließlich ist ESS allgemein verwendbar, was die enorme Menge bereits vorhandener annotierter Bild-Datensätze erschließt und neue, spannende Forschungspfade in bisher für Ereigniskameras unzugänglichen Bereichen eröffnet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp