HyperAIHyperAI

Command Palette

Search for a command to run...

Instanzbewusstes dynamisches Prompt-Tuning für vortrainierte Punktwolkenmodelle

Zha Yaohua ; Wang Jinpeng ; Dai Tao ; Chen Bin ; Wang Zhi ; Xia Shu-Tao

Zusammenfassung

Vorabtrainierte Point-Cloud-Modelle finden vielfältige Anwendungen in 3D-Verarbeitungsaufgaben wie Objektklassifikation und Segmentierung von Teilen. Allerdings führt die gängige Strategie des vollständigen Feinabstimmens (Fine-Tuning) bei nachgelagerten Aufgaben zu erheblichen Speicherkosten für die Modellparameter, was die Effizienz bei der Anwendung großskaliger vorabtrainierter Modelle einschränkt. Inspiriert durch den jüngsten Erfolg des visuellen Prompt-Tunings (VPT), untersucht dieser Artikel das Prompt-Tuning auf vorabtrainierten Point-Cloud-Modellen, um eine elegante Balance zwischen Leistung und Parameter-Effizienz zu erzielen. Wir stellen fest, dass instanzunabhängiges statisches Prompting, z.B. VPT, zwar einige Effektivität bei der nachgelagerten Transferierung zeigt, aber anfällig ist gegenüber der Verteilungsvielfalt, die durch verschiedene Arten von Rauschen in realen Point-Cloud-Daten verursacht wird. Um diese Einschränkung zu überwinden, schlagen wir eine neuartige Instanzbewusste Dynamische Prompt-Tuning-Strategie (IDPT) für vorabtrainierte Point-Cloud-Modelle vor. Das Kernstück der IDPT besteht darin, ein dynamisches Prompt-Generierungsmodul zu entwickeln, das semantische Vorwissenmerkmale jeder Point-Cloud-Instanz wahrnimmt und anpassbare Prompt-Token generiert, um die Robustheit des Modells zu verbessern. Bemerkenswerterweise zeigen umfangreiche Experimente, dass IDPT in den meisten Aufgaben mit lediglich 7 % der trainierbaren Parameter besser abschneidet als das vollständige Feinabstimmung, was eine vielversprechende Lösung für parameter-effizientes Lernen bei vorabtrainierten Point-Cloud-Modellen darstellt. Der Code ist unter \url{https://github.com/zyh16143998882/ICCV23-IDPT} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp