PCT: Point Cloud Transformer

Der unregelmäßige Aufbau und das Fehlen einer festen Ordnung machen die Gestaltung tiefer neuronalen Netze für die Verarbeitung von Punktwolken besonders herausfordernd. In diesem Artikel präsentieren wir einen neuartigen Ansatz namens Point Cloud Transformer (PCT) für das Lernen mit Punktwolken. PCT basiert auf dem Transformer-Modell, das in der natürlichen Sprachverarbeitung erhebliche Erfolge erzielt hat und großes Potenzial auch in der Bildverarbeitung zeigt. Aufgrund seiner inherenten Permutationsinvarianz ist das Modell besonders gut geeignet, um eine Folge von Punkten zu verarbeiten, was es ideal für das Lernen mit Punktwolken macht. Um die lokale Struktur innerhalb der Punktwolke besser erfassen zu können, erweitern wir die Eingabedarstellung durch die Nutzung der weitesten-Punkt-Auswahl (farthest point sampling) und der Suche nach nächsten Nachbarn (nearest neighbor search). Umfangreiche Experimente zeigen, dass PCT die derzeit beste Leistung bei Aufgaben der Formklassifikation, Teilsegmentierung und Normalenschätzung erzielt.