HyperAIHyperAI

Command Palette

Search for a command to run...

Maskierte Autoencoder für die selbstüberwachte Lernung von Punktwolken

Yatian Pang Wenxiao Wang Francis E.H. Tay Wei Liu Yonghong Tian Li Yuan

Zusammenfassung

Als vielversprechendes Schema des selbstüberwachten Lernens hat die maschinelle Autoenkodierung (masked autoencoding) die natürliche Sprachverarbeitung und die Computer Vision erheblich vorangebracht. Inspiriert durch dies, schlagen wir ein elegantes Schema von maschinellen Autoenkodierern für das selbstüberwachte Lernen von Punktwolken vor, das den Herausforderungen der Eigenschaften von Punktwolken entgegenkommt, einschließlich der Verlust von Ortsinformationen und der ungleichmäßigen Informationsdichte. Konkret teilen wir die Eingabepunktwolke in unregelmäßige Punktfelder auf und maskieren diese zufällig in einem hohen Verhältnis. Anschließend lernt ein standardmäßiger Transformer-basierter Autoenkodierer mit asymmetrischer Struktur und einer Verschiebungsmaske-Operation hochwertige latente Merkmale aus den nicht maskierten Punktfeldern, wobei das Ziel die Rekonstruktion der maskierten Punktfelder ist. Umfangreiche Experimente zeigen, dass unser Ansatz während des Vortrainings effizient ist und sich gut auf verschiedene Downstream-Aufgaben verallgemeinert. Insbesondere erreichen unsere vortrainierten Modelle eine Genauigkeit von 85,18 % auf ScanObjectNN und 94,04 % auf ModelNet40, was alle anderen Methoden des selbstüberwachten Lernens übertrifft. Wir demonstrieren mit unserem Schema, dass eine einfache Architektur vollständig auf standardmäßigen Transformatoren basierend spezialisierte Transformermodelle aus dem überwachten Lernen übertreffen kann. Unser Ansatz verbessert zudem die Stand der Technik in der Few-Shot-Objektklassifikation um 1,5 % bis 2,3 %. Darüber hinaus zeigt unsere Arbeit die Machbarkeit des Einsatzes vereinter Architekturen aus Sprachen und Bildern für Punktwolken auf.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp