HyperAIHyperAI

Command Palette

Search for a command to run...

Maskeierte Ereignismodellierung: Selbstüberwachtes Vortrainieren für Ereigniskameras

Simon Klenk David Bonello Lukas Koestler Nikita Araslanov Daniel Cremers

Zusammenfassung

Ereigniskameras erfassen Helligkeitsänderungen asynchron mit geringer Latenz, hoher zeitlicher Auflösung und großem Dynamikbereich. Allerdings ist die Annotation von Ereignisdaten ein kostenintensiver und zeitaufwändiger Prozess, was die Anwendung von Deep-Learning-Verfahren für Klassifikation und andere semantische Aufgaben im Ereignismodus einschränkt. Um die Abhängigkeit von beschrifteten Ereignisdaten zu verringern, stellen wir Masked Event Modeling (MEM) vor – einen selbstüberwachten Rahmen für Ereignisdaten. Unsere Methode prätrainiert ein neuronales Netzwerk auf unlabeled Ereignisdaten, die aus beliebigen Aufnahmen einer Ereigniskamera stammen können. Anschließend wird das prätrainierte Modell auf einer nachgeschalteten Aufgabe feinabgestimmt, wodurch eine konsistente Steigerung der Aufgabenpräzision erreicht wird. Beispielsweise erzielt unsere Methode state-of-the-art Klassifizierungsgenauigkeit auf drei Datensätzen – N-ImageNet, N-Cars und N-Caltech101 – und steigert die Top-1-Genauigkeit vorheriger Ansätze deutlich. Bei Tests auf realen Ereignisdaten übertrifft MEM sogar vortrainierte Modelle, die auf RGB-Daten basieren und überwacht trainiert wurden. Die mit MEM prätrainierten Modelle sind zudem label-effizient und generalisieren gut auf die anspruchsvolle Aufgabe der semantischen Bildsegmentierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Maskeierte Ereignismodellierung: Selbstüberwachtes Vortrainieren für Ereigniskameras | Paper | HyperAI