PointDAN: Ein mehrskaliges 3D-Domänenanpassungsnetzwerk für Punktclouddarstellungen

Ansätze zur Domänenanpassung (Domain Adaptation, DA) haben erhebliche Fortschritte in einer Vielzahl von Aufgaben im Bereich des maschinellen Lernens und der Computer Vision erzielt (z. B. Klassifikation, Detektion und Segmentierung). Doch soweit uns bekannt ist, existieren bisher nur wenige Methoden, die die Domänenanpassung direkt auf 3D-Punktwolken-Daten durchführen. Die besondere Herausforderung bei Punktwolken liegt in ihrer reichhaltigen räumlichen geometrischen Information, wobei die Semantik eines gesamten Objekts durch die Berücksichtigung regionaler geometrischer Strukturen entsteht. Insbesondere sind die meisten allgemein verwendbaren DA-Methoden, die Schwierigkeiten bei der globalen Merkmalsausrichtung haben und lokale geometrische Informationen vernachlässigen, für die Anpassung in 3D-Umgebungen ungeeignet. In diesem Paper stellen wir ein neuartiges Netzwerk zur 3D-Domänenanpassung für Punktwolken (PointDAN) vor. PointDAN führt gleichzeitig eine Ausrichtung von globalen und lokalen Merkmalen auf mehreren Ebenen durch. Für die lokale Ausrichtung schlagen wir ein selbst-anpassendes (Self-Adaptive, SA) Knotenmodul mit einem angepassten Empfindlichkeitsfeld vor, um diskriminative lokale Strukturen zur Domänenanpassung zu modellieren. Um hierarchisch skalierte Merkmale darzustellen, wird zudem ein Knoten-Attention-Modul eingeführt, das die Beziehungen zwischen SA-Knoten über Objekte und Domänen gewichtet. Für die globale Ausrichtung wird eine adversarische Trainingsstrategie eingesetzt, um globale Merkmale über verschiedene Domänen hinweg zu lernen und auszurichten. Da bisher kein etablierter Bewertungsbenchmark für Szenarien der 3D-Punktwolken-DA existiert, haben wir einen allgemeinen Benchmark (PointDA-10) erstellt, der aus drei etablierten 3D-Objekt-/Szenen-Datensätzen (ModelNet, ShapeNet und ScanNet) extrahiert wurde, und der für die Klassifikation von 3D-Objekten über Domänen hinweg dient. Umfangreiche Experimente auf PointDA-10 belegen die Überlegenheit unseres Modells gegenüber den aktuellen state-of-the-art-Methoden für allgemeine Domänenanpassung.