HyperAIHyperAI

Command Palette

Search for a command to run...

الضبط الديناميكي للدفوعات واعٍ للمثيلات لنموذج السحابة النقطية المُدرب مسبقًا

Zha Yaohua ; Wang Jinpeng ; Dai Tao ; Chen Bin ; Wang Zhi ; Xia Shu-Tao

الملخص

النماذج المُدربة مسبقًا على السحب النقطية (point cloud) وجدت تطبيقات واسعة في مهام فهم الأبعاد الثلاثية مثل تصنيف الأشياء وتقسيم الأجزاء. ومع ذلك، فإن الاستراتيجية السائدة لضبط التعلم الكامل (full fine-tuning) في المهام اللاحقة تؤدي إلى زيادة كبيرة في حجم التخزين لكل مهمة بالنسبة لمعلمات النموذج، مما يحد من الكفاءة عند تطبيق نماذج مُدربة مسبقاً على نطاق واسع. مستوحاة من النجاح الحديث لضبط الدفعات البصرية (Visual Prompt Tuning - VPT)، تحاول هذه الورقة استكشاف ضبط الدفعات على نماذج السحب النقطية المُدربة مسبقًا، للبحث عن توازن أنيق بين الأداء وكفاءة المعاملات. لقد اكتشفنا أن دفعات الثبات التي لا تعتمد على الحالة الفردية (instance-agnostic static prompting)، مثل VPT، تظهر بعض الفعالية في نقل المهام اللاحقة، لكنها عرضة للتوزيع المتغير الذي يسببه أنواع مختلفة من الضوضاء في بيانات السحب النقطية الحقيقية. لتجاوز هذا القيد، نقترح استراتيجية جديدة لضبط الدفعات الديناميكية المعتمدة على الحالة الفردية (Instance-aware Dynamic Prompt Tuning - IDPT) لنماذج السحب النقطية المُدربة مسبقًا. جوهر IDPT هو تطوير وحدة إنشاء دفعات ديناميكية لتلمس الخصائص الأولوية الدلالية لكل حالة فردية من السحب النقطية وإنتاج رموز دفعات مرنة لتعزيز صلابة النموذج. وبشكل ملفت، تثبت التجارب الواسعة أن IDPT تتفوق على ضبط التعلم الكامل في معظم المهام باستخدام فقط 7٪ من المعاملات القابلة للتدريب، مما يقدم حلًا واعدًا للتعلم كفء المعاملات لنماذج السحب النقطية المُدربة مسبقًا. يمكن الحصول على الكود من الرابط \url{https://github.com/zyh16143998882/ICCV23-IDPT}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp