Prätrainings von Punktwolken mit natürlichen 3D-Strukturen

Die Erstellung von 3D-Punktwolken-Datensätzen erfordert einen erheblichen menschlichen Aufwand. Daher ist die Erstellung eines großskaligen 3D-Punktwolken-Datensatzes äußerst schwierig. Um dieses Problem zu beheben, stellen wir eine neu entwickelte Punktwolken-Fraktal-Datenbank (PC-FractalDB) vor, eine innovative Familie formelgestützter überwachter Lernansätze, die sich von der fraktalen Geometrie inspirieren lässt, wie sie in natürlichen 3D-Strukturen vorkommt. Unsere Forschung basiert auf der Hypothese, dass wir durch das Lernen fraktaler Geometrie repräsentative Muster aus realitätsnaheren 3D-Patterns gewinnen können als dies mit herkömmlichen 3D-Datensätzen möglich ist. Wir zeigen, wie die PC-FractalDB mehrere aktuelle datenbasierte Herausforderungen im Bereich der 3D-Szenenverstehens löst, beispielsweise die Sammlung von 3D-Modellen und die zeitaufwändige Annotation. In der experimentellen Evaluation demonstrieren wir, dass wir mit der PC-FractalDB Leistungsraten von bis zu 61,9 % (ScanNetV2) und 59,0 % (SUN RGB-D) erreicht haben – jeweils über die bisher höchsten Ergebnisse, die mit PointContrast, contrastive scene contexts (CSC) und RandomRooms erzielt wurden. Zudem erweist sich das vorab auf der PC-FractalDB vortrainierte Modell besonders effektiv bei der Ausbildung mit begrenzten Datenmengen. So erreicht das vortrainierte VoteNet auf nur 10 % der Trainingsdaten von ScanNetV2 eine Genauigkeit von 38,3 %, was eine Verbesserung um +14,8 Prozentpunkte gegenüber CSC darstellt. Besonders hervorzuheben ist, dass die vorgeschlagene Methode bei der Vortrainierung für die 3D-Objekterkennung unter begrenzten Punktwolken-Daten die besten Ergebnisse erzielt.