Von Punkten zu Patchs: Ermöglichung der Verwendung von Selbst-Attention für die 3D-Formerkennung

Während die Transformer-Architektur im Maschinenlernbereich weit verbreitet ist, stellt ihre Anpassung an die 3D-Formerkennung eine nicht triviale Aufgabe dar. Aufgrund ihrer quadratischen Rechenaufwandkomplexität wird der Selbst-Aufmerksamkeitsoperator schnell ineffizient, wenn die Menge der Eingangspunkte größer wird. Darüber hinaus stellen wir fest, dass der Aufmerksamkeitsmechanismus Schwierigkeiten hat, nützliche Verbindungen zwischen einzelnen Punkten auf globaler Ebene herzustellen. Um diese Probleme zu lindern, schlagen wir einen zweistufigen Ansatz vor, den Point Transformer-in-Transformer (Point-TnT), der lokale und globale Aufmerksamkeitsmechanismen kombiniert. Dies ermöglicht es sowohl einzelnen Punkten als auch Punktpatches effektiv miteinander in Beziehung zu treten. Experimente zur Formklassifizierung zeigen, dass dieser Ansatz für nachgeschaltete Aufgaben nützlichere Merkmale bereitstellt als der Baseline-Transformer und gleichzeitig rechnerisch effizienter ist. Zudem erweitern wir unsere Methode auf die Merkmalsabgleichung für Szenenrekonstruktionen und demonstrieren, dass sie mit bestehenden Szenenrekonstruktionspipelines verwendet werden kann.