EFM3D: Ein Benchmark zur Messung des Fortschritts hin zu 3D-egozentrischen Foundation-Modellen

Der Aufstieg tragbarer Computer eröffnet eine neue Quelle kontextueller Informationen für KI, die in egozentrischen Sensordaten eingebettet ist. Diese neuen egozentrischen Daten verfügen über detaillierte 3D-Ortungsinformationen und bieten somit die Möglichkeit, eine neue Klasse räumlicher Grundmodelle zu entwickeln, die in der 3D-Raumstruktur verwurzelt sind. Um den Fortschritt bei dem von uns als egozentrische Grundmodelle (Egocentric Foundation Models, EFMs) bezeichneten Bereich zu messen, führen wir EFM3D ein – einen Benchmark mit zwei zentralen Aufgaben der 3D-egozentrischen Wahrnehmung. EFM3D ist der erste Benchmark für die 3D-Objekterkennung und Oberflächenregression an hochwertig annotierten egozentrischen Daten aus dem Projekt Aria. Wir stellen Egocentric Voxel Lifting (EVL) vor, eine Baseline für 3D-EFMs. EVL nutzt alle verfügbaren egozentrischen Modalitäten und übernimmt grundlegende Fähigkeiten aus 2D-Grundmodellen. Dieses Modell, das auf einem großen simulierten Datensatz trainiert wurde, erreicht eine bessere Leistung als bestehende Methoden im EFM3D-Benchmark.