Maskeierte Ereignismodellierung: Selbstüberwachtes Vortrainieren für Ereigniskameras

Ereigniskameras erfassen Helligkeitsänderungen asynchron mit geringer Latenz, hoher zeitlicher Auflösung und großem Dynamikbereich. Allerdings ist die Annotation von Ereignisdaten ein kostenintensiver und zeitaufwändiger Prozess, was die Anwendung von Deep-Learning-Verfahren für Klassifikation und andere semantische Aufgaben im Ereignismodus einschränkt. Um die Abhängigkeit von beschrifteten Ereignisdaten zu verringern, stellen wir Masked Event Modeling (MEM) vor – einen selbstüberwachten Rahmen für Ereignisdaten. Unsere Methode prätrainiert ein neuronales Netzwerk auf unlabeled Ereignisdaten, die aus beliebigen Aufnahmen einer Ereigniskamera stammen können. Anschließend wird das prätrainierte Modell auf einer nachgeschalteten Aufgabe feinabgestimmt, wodurch eine konsistente Steigerung der Aufgabenpräzision erreicht wird. Beispielsweise erzielt unsere Methode state-of-the-art Klassifizierungsgenauigkeit auf drei Datensätzen – N-ImageNet, N-Cars und N-Caltech101 – und steigert die Top-1-Genauigkeit vorheriger Ansätze deutlich. Bei Tests auf realen Ereignisdaten übertrifft MEM sogar vortrainierte Modelle, die auf RGB-Daten basieren und überwacht trainiert wurden. Die mit MEM prätrainierten Modelle sind zudem label-effizient und generalisieren gut auf die anspruchsvolle Aufgabe der semantischen Bildsegmentierung.