HyperAIHyperAI

Command Palette

Search for a command to run...

Von Punkten zu Patchs: Ermöglichung der Verwendung von Selbst-Attention für die 3D-Formerkennung

Axel Berg Magnus Oskarsson Mark O’Connor

Zusammenfassung

Während die Transformer-Architektur im Maschinenlernbereich weit verbreitet ist, stellt ihre Anpassung an die 3D-Formerkennung eine nicht triviale Aufgabe dar. Aufgrund ihrer quadratischen Rechenaufwandkomplexität wird der Selbst-Aufmerksamkeitsoperator schnell ineffizient, wenn die Menge der Eingangspunkte größer wird. Darüber hinaus stellen wir fest, dass der Aufmerksamkeitsmechanismus Schwierigkeiten hat, nützliche Verbindungen zwischen einzelnen Punkten auf globaler Ebene herzustellen. Um diese Probleme zu lindern, schlagen wir einen zweistufigen Ansatz vor, den Point Transformer-in-Transformer (Point-TnT), der lokale und globale Aufmerksamkeitsmechanismen kombiniert. Dies ermöglicht es sowohl einzelnen Punkten als auch Punktpatches effektiv miteinander in Beziehung zu treten. Experimente zur Formklassifizierung zeigen, dass dieser Ansatz für nachgeschaltete Aufgaben nützlichere Merkmale bereitstellt als der Baseline-Transformer und gleichzeitig rechnerisch effizienter ist. Zudem erweitern wir unsere Methode auf die Merkmalsabgleichung für Szenenrekonstruktionen und demonstrieren, dass sie mit bestehenden Szenenrekonstruktionspipelines verwendet werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp