Dichte Voxel-3D-Rekonstruktion mit einer monokularen Event-Kamera

Event-Kameras sind Sensoren, die von biologischen Systemen inspiriert wurden und sich auf das Erfassen von Helligkeitsänderungen spezialisiert haben. Diese neuartigen Kameras bieten viele Vorteile gegenüber herkömmlichen rahmenbasierten Kameras, darunter ein hohes Dynamikverhältnis, hohe Bildwiederholraten und extrem geringen Energieverbrauch. Aufgrund dieser Vorteile werden Event-Kameras zunehmend in verschiedenen Bereichen eingesetzt, wie zum Beispiel Rahmenglättung, semantische Segmentierung, Odometrie und SLAM. Ihre Anwendung bei der 3D-Rekonstruktion für VR-Anwendungen ist jedoch noch wenig erforscht. Vorherige Methoden in diesem Bereich konzentrierten sich hauptsächlich auf die 3D-Rekonstruktion durch Tiefenkartenabschätzung. Methoden, die eine dichte 3D-Rekonstruktion erzeugen, benötigen im Allgemeinen mehrere Kameras, während Methoden, die eine einzelne Event-Kamera verwenden, nur ein halbdichtes Ergebnis liefern können. Andere Einzelkameramethoden, die eine dichte 3D-Rekonstruktion erzeugen können, basieren auf Pipelines, die entweder die oben genannten Methoden oder andere existierende Struktur aus Bewegung (Structure from Motion, SfM) oder Multiview-Stereobildverarbeitung (Multi-view Stereo, MVS) Methoden integrieren. In dieser Arbeit schlagen wir einen neuen Ansatz vor, um eine dichte 3D-Rekonstruktion mit nur einer einzelnen Event-Kamera zu erreichen. Nach bestem Wissen ist unsere Arbeit der erste Versuch in dieser Richtung. Unsere vorläufigen Ergebnisse zeigen, dass das vorgeschlagene Verfahren visuell erkennbare dichte 3D-Rekonstruktionen direkt ohne Pipelines erzeugen kann, wie sie von existierenden Methoden verwendet werden. Zudem haben wir einen synthetischen Datensatz mit 39.739 Objektscans erstellt, indem wir einen Event-Kamera-Simulator verwendet haben. Dieser Datensatz wird dazu beitragen, andere relevante Forschungsarbeiten in diesem Bereich zu beschleunigen.