Ajustement fin efficace en paramètres dans le domaine spectral pour l'apprentissage sur les nuages de points

Récemment, l'exploitation des techniques de pré-entraînement pour améliorer les modèles de nuages de points est devenue un sujet de recherche très actif. Cependant, les approches existantes nécessitent généralement une fine-tuning complète des modèles pré-entraînés pour obtenir des performances satisfaisantes sur les tâches en aval, ce qui est accompagné d'une consommation importante de stockage et de calcul.Pour résoudre ce problème, nous proposons une nouvelle méthode de Fine-Tuning Économique en Paramètres (PEFT) pour les nuages de points, appelée PointGST (Point cloud Graph Spectral Tuning). PointGST fige le modèle pré-entraîné et introduit un adaptateur spectral léger et entraînable pour les nuages de points (PCSA : Point Cloud Spectral Adapter) afin d'ajuster les paramètres dans le domaine spectral. L'idée centrale repose sur deux observations : 1) Les jetons internes issus des modèles figés peuvent présenter des ambiguïtés dans le domaine spatial ; 2) Les informations intrinsèques spécifiques à la tâche sont importantes pour transférer les connaissances générales aux tâches en aval.Plus précisément, PointGST transfère les jetons de points du domaine spatial au domaine spectral, décorrélant efficacement les ambiguïtés entre les jetons grâce à l'utilisation de composantes orthogonales pour la séparation. De plus, la base spectrale générée contient des informations intrinsèques sur les nuages de points en aval, permettant un ajustement plus ciblé. En conséquence, PointGST facilite le transfert efficace des connaissances générales aux tâches en aval tout en réduisant considérablement les coûts d'entraînement. Des expériences étendues sur des jeux de données complexes de nuages de points et couvrant diverses tâches montrent que PointGST non seulement surpasses son équivalent avec une fine-tuning complète mais réduit également significativement le nombre de paramètres entraînables, ce qui en fait une solution prometteuse pour l'apprentissage efficace des nuages de points.Il améliore une solide ligne de base respectivement de +2,28 %, 1,16 % et 2,78 % sur les jeux de données ScanObjNN OBJ BG, OBJ OBLY et PB T50 RS, atteignant ainsi 99,48 %, 97,76 % et 96,18 %. Cette avancée établit un nouveau niveau d'excellence (state-of-the-art), utilisant seulement 0,67 % des paramètres entraînables.