Temporale binäre Darstellung für ereignisbasierte Aktionserkennung

In diesem Artikel präsentieren wir eine Ereignisaggregationsstrategie, um die Ausgabe einer Ereigniskamera in Frames zu transformieren, die von herkömmlichen Computer-Vision-Algorithmen verarbeitet werden können. Die vorgeschlagene Methode generiert zunächst Sequenzen von intermediären binären Darstellungen, die anschließend durch eine einfache Binär-zu-Dezimal-Konvertierung verlustfrei in ein kompaktes Format überführt werden. Diese Strategie ermöglicht es uns, zeitliche Informationen direkt in die Pixelwerte einzubetten, die dann von tiefen Lernmodellen interpretiert werden. Wir wenden unsere Strategie, die als Temporale Binäre Darstellung (Temporal Binary Representation) bezeichnet wird, auf die Aufgabe der Gestenerkennung an und erzielen dabei state-of-the-art-Ergebnisse auf dem beliebten DVS128-Gesten-Datensatz. Um die Effektivität der vorgeschlagenen Methode gegenüber bestehenden Ansätzen zu unterstreichen, sammeln wir zudem eine Erweiterung des Datensatzes unter anspruchsvolleren Bedingungen, um darauf Experimente durchzuführen.