الضبط الديناميكي للدفوعات واعٍ للمثيلات لنموذج السحابة النقطية المُدرب مسبقًا

النماذج المُدربة مسبقًا على السحب النقطية (point cloud) وجدت تطبيقات واسعة في مهام فهم الأبعاد الثلاثية مثل تصنيف الأشياء وتقسيم الأجزاء. ومع ذلك، فإن الاستراتيجية السائدة لضبط التعلم الكامل (full fine-tuning) في المهام اللاحقة تؤدي إلى زيادة كبيرة في حجم التخزين لكل مهمة بالنسبة لمعلمات النموذج، مما يحد من الكفاءة عند تطبيق نماذج مُدربة مسبقاً على نطاق واسع. مستوحاة من النجاح الحديث لضبط الدفعات البصرية (Visual Prompt Tuning - VPT)، تحاول هذه الورقة استكشاف ضبط الدفعات على نماذج السحب النقطية المُدربة مسبقًا، للبحث عن توازن أنيق بين الأداء وكفاءة المعاملات. لقد اكتشفنا أن دفعات الثبات التي لا تعتمد على الحالة الفردية (instance-agnostic static prompting)، مثل VPT، تظهر بعض الفعالية في نقل المهام اللاحقة، لكنها عرضة للتوزيع المتغير الذي يسببه أنواع مختلفة من الضوضاء في بيانات السحب النقطية الحقيقية. لتجاوز هذا القيد، نقترح استراتيجية جديدة لضبط الدفعات الديناميكية المعتمدة على الحالة الفردية (Instance-aware Dynamic Prompt Tuning - IDPT) لنماذج السحب النقطية المُدربة مسبقًا. جوهر IDPT هو تطوير وحدة إنشاء دفعات ديناميكية لتلمس الخصائص الأولوية الدلالية لكل حالة فردية من السحب النقطية وإنتاج رموز دفعات مرنة لتعزيز صلابة النموذج. وبشكل ملفت، تثبت التجارب الواسعة أن IDPT تتفوق على ضبط التعلم الكامل في معظم المهام باستخدام فقط 7٪ من المعاملات القابلة للتدريب، مما يقدم حلًا واعدًا للتعلم كفء المعاملات لنماذج السحب النقطية المُدربة مسبقًا. يمكن الحصول على الكود من الرابط \url{https://github.com/zyh16143998882/ICCV23-IDPT}.