HyperAIHyperAI

Command Palette

Search for a command to run...

Take-A-Photo: 3D-zu-2D Generatives Vortraining von Punktwolkenmodellen

Ziyi Wang Xumin Yu Yongming Rao Jie Zhou Jiwen Lu

Zusammenfassung

Mit dem überwältigenden Trend der Maskenbildmodellierung durch MAE (Masked Autoencoder) hat sich das generative Vortraining als großes Potenzial erwiesen, die Leistung grundlegender Modelle in der 2D-Bildverarbeitung zu verbessern. Allerdings haben in der 3D-Bildverarbeitung die starke Abhängigkeit von Transformer-basierten Backbones und die unstrukturierte Natur von Punktwolken die weitere Entwicklung des generativen Vortrainings eingeschränkt. In dieser Arbeit schlagen wir eine neuartige 3D-zu-2D-generative Vortrainingmethode vor, die auf beliebige Punktwolkenmodelle anwendbar ist. Wir schlagen vor, Ansichtsbilder aus verschiedenen vorgegebenen Positionen durch den Kreuzaufmerksamkeitsmechanismus (cross-attention mechanism) zu generieren, als Vortrainingsschema. Die Generierung von Ansichtsbildern bietet eine präzisere Überwachung als ihre Punktwolken-Gegenstücke, was dazu beiträgt, dass 3D-Backbones ein feineres Verständnis der geometrischen Struktur und der räumlichen Beziehungen der Punktwolken erlangen. Experimentelle Ergebnisse haben die Überlegenheit unseres vorgeschlagenen 3D-zu-2D-generativen Vortrainings gegenüber früheren Vortrainingsmethoden bewiesen. Unsere Methode ist auch effektiv darin, die Leistung architekturorientierter Ansätze zu steigern und erreicht den aktuellen Stand der Technik bei der Feinabstimmung auf Klassifikationsaufgaben des ScanObjectNN-Datensatzes und Segmentierungsaufgaben des ShapeNetPart-Datensatzes. Der Quellcode ist unter https://github.com/wangzy22/TAP verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp