Ajustement dynamique des prompts en tenant compte des instances pour les modèles pré-entraînés de nuages de points

Les modèles pré-entraînés sur des nuages de points ont trouvé de nombreuses applications dans les tâches d'interprétation 3D, telles que la classification d'objets et la segmentation de parties. Cependant, la stratégie dominante de l'ajustement complet lors des tâches en aval entraîne une importante surcharge de stockage pour les paramètres du modèle, ce qui limite l'efficacité lors de l'utilisation de modèles pré-entraînés à grande échelle. Inspirés par le succès récent de l'ajustement des prompts visuels (VPT), cet article explore l'ajustement des prompts sur les modèles pré-entraînés de nuages de points, afin de trouver un équilibre élégant entre performance et efficacité des paramètres. Nous constatons que bien que l'ajout statique de prompts indépendants des instances, comme le VPT, montre une certaine efficacité dans le transfert en aval, il est vulnérable à la diversité des distributions causée par différents types de bruits dans les données réelles des nuages de points. Pour surmonter cette limitation, nous proposons une nouvelle stratégie d'Ajustement Dynamique des Prompts Conscient des Instances (IDPT) pour les modèles pré-entraînés de nuages de points. L'essence de l'IDPT consiste à développer un module génératif dynamique des prompts capable de percevoir les caractéristiques sémantiques a priori de chaque instance de nuage de points et d'engendrer des jetons de prompt adaptatifs pour améliorer la robustesse du modèle. Il convient également de noter que d'extensives expériences démontrent que l'IDPT surpasses l'ajustement complet dans la plupart des tâches avec seulement 7% des paramètres entraînables, offrant ainsi une solution prometteuse pour l'apprentissage efficace en termes de paramètres dans les modèles pré-entraînés de nuages de points. Le code est disponible à l'adresse \url{https://github.com/zyh16143998882/ICCV23-IDPT}.