Mix3D: Datenaugmentierung aus dem Kontext für 3D-Szenen

Wir präsentieren Mix3D, eine Daten-Augmentierungstechnik für die Segmentierung großflächiger 3D-Szenen. Da Szenenkontext beim Schlussfolgern über Objektsemantik hilfreich ist, konzentrieren sich aktuelle Ansätze auf Modelle mit hoher Kapazität und großem Rezeptivfeld, die die globale Struktur einer Eingabeszenen vollständig erfassen können. Allerdings können starke kontextuelle Vorkenntnisse nachteilige Auswirkungen haben, beispielsweise die Fehldeutung eines Fußgängers, der die Straße überquert, als Auto. In dieser Arbeit legen wir den Fokus auf die Bedeutung einer Balance zwischen globalem Szenenkontext und lokaler Geometrie, um eine Generalisierung über die kontextuellen Vorkenntnisse im Trainingsdatensatz hinaus zu ermöglichen. Insbesondere schlagen wir eine „Mixing“-Technik vor, die neue Trainingsbeispiele durch Kombination zweier augmentierter Szenen erzeugt. Dadurch werden Objektinstanzen implizit in neue, außerhalb des Kontexts liegende Umgebungen platziert, wodurch es Modellen schwerer fällt, sich ausschließlich auf den Szenenkontext zu verlassen, und stattdessen auch Semantik aus lokalen Strukturen ableiten müssen. Wir führen eine detaillierte Analyse durch, um die Bedeutung von globalem Kontext, lokalen Strukturen und der Wirkung des Szenenmixings zu verstehen. In Experimenten zeigen wir, dass Modelle, die mit Mix3D trainiert werden, eine signifikante Leistungssteigerung sowohl auf Innenraum-Datensätzen (ScanNet, S3DIS) als auch auf Außenraum-Datensätzen (SemanticKITTI) erreichen. Mix3D lässt sich problemlos mit beliebigen bestehenden Methoden kombinieren; beispielsweise erreicht MinkowskiNet, wenn es mit Mix3D trainiert wird, auf dem ScanNet-Testbenchmark eine mIoU von 78,1 %, was alle vorherigen State-of-the-Art-Methoden deutlich übertrifft. Der Quellcode ist verfügbar unter: https://nekrasov.dev/mix3d/