LABELMAKER: Automatisierte Generierung semantischer Labels aus RGB-D-Trajektorien
Semantische Annotationen sind unverzichtbar für das Training oder die Evaluierung von Wahrnehmungsmodellen, erfordern jedoch einen sehr hohen Aufwand. In dieser Arbeit wird ein vollständig automatisiertes 2D/3D-Labeling-Framework vorgestellt, das ohne jegliche menschliche Intervention Labels für RGB-D-Scans erzeugen kann, die einer vergleichbaren Qualität manuell annotierter Datensätze wie ScanNet entsprechen (oder diese sogar überbieten). Unser Ansatz basiert auf einer Ensemble-Integration modernster Segmentierungsmodelle sowie einer 3D-Aufhebung mittels neuronaler Rendering-Techniken. Die Wirksamkeit unserer LabelMaker-Pipeline wird durch die Generierung signifikant besserer Labels für die ScanNet-Datensätze und die automatische Annotation der bisher nicht annotierten ARKitScenes-Datensätze nachgewiesen. Der Quellcode und die Modelle sind unter https://labelmaker.org verfügbar.