Instanzbewusstes dynamisches Prompt-Tuning für vortrainierte Punktwolkenmodelle

Vorabtrainierte Point-Cloud-Modelle finden vielfältige Anwendungen in 3D-Verarbeitungsaufgaben wie Objektklassifikation und Segmentierung von Teilen. Allerdings führt die gängige Strategie des vollständigen Feinabstimmens (Fine-Tuning) bei nachgelagerten Aufgaben zu erheblichen Speicherkosten für die Modellparameter, was die Effizienz bei der Anwendung großskaliger vorabtrainierter Modelle einschränkt. Inspiriert durch den jüngsten Erfolg des visuellen Prompt-Tunings (VPT), untersucht dieser Artikel das Prompt-Tuning auf vorabtrainierten Point-Cloud-Modellen, um eine elegante Balance zwischen Leistung und Parameter-Effizienz zu erzielen. Wir stellen fest, dass instanzunabhängiges statisches Prompting, z.B. VPT, zwar einige Effektivität bei der nachgelagerten Transferierung zeigt, aber anfällig ist gegenüber der Verteilungsvielfalt, die durch verschiedene Arten von Rauschen in realen Point-Cloud-Daten verursacht wird. Um diese Einschränkung zu überwinden, schlagen wir eine neuartige Instanzbewusste Dynamische Prompt-Tuning-Strategie (IDPT) für vorabtrainierte Point-Cloud-Modelle vor. Das Kernstück der IDPT besteht darin, ein dynamisches Prompt-Generierungsmodul zu entwickeln, das semantische Vorwissenmerkmale jeder Point-Cloud-Instanz wahrnimmt und anpassbare Prompt-Token generiert, um die Robustheit des Modells zu verbessern. Bemerkenswerterweise zeigen umfangreiche Experimente, dass IDPT in den meisten Aufgaben mit lediglich 7 % der trainierbaren Parameter besser abschneidet als das vollständige Feinabstimmung, was eine vielversprechende Lösung für parameter-effizientes Lernen bei vorabtrainierten Point-Cloud-Modellen darstellt. Der Code ist unter \url{https://github.com/zyh16143998882/ICCV23-IDPT} verfügbar.