HyperAIHyperAI

Command Palette

Search for a command to run...

مُوجِّه النص التحويلي لتنبؤ كثيف متعدد المهام

Yuxiang Lu Shalayiding Sirejiding Yue Ding Chunlin Wang Hongtao Lu

الملخص

تُقدّم البنية الشرطية حسب المهمة ميزة في كفاءة المعلمات، لكنها تُظهر أداءً أقل مقارنةً بالأساليب المتقدمة ذات المتعدّد الفاصل (multi-decoder). وتمثّل مسألة التوازن بين الأداء واستهلاك المعلمات مشكلة مهمة وصعبة. في هذه الورقة، نقدّم نموذجًا بسيطًا وخفيف الوزن يُدعى "Transformer موجه بالمسار (Prompt Guided Transformer - PGT)" بهدف تحسين هذا التحدي. تعتمد طريقة عملنا على تصميم كتلة Transformer موجهة بالمسار (Prompt-conditioned Transformer block)، التي تدمج مسارات مخصصة للمهام ضمن آلية الانتباه الذاتي (self-attention) لتحقيق نمذجة الاعتماديات الشاملة والتكيف الفعّال من حيث المعلمات عبر مهام متعددة. تُدمج هذه الكتلة في كل من المُشفّر المشترك (shared encoder) والفاصل (decoder)، مما يعزز القدرة على استخلاص السمات الداخلية بين المهام (intra-task) والخارجية بين المهام (inter-task). علاوةً على ذلك، قمنا بتصميم فاصل خفيف الوزن يقلّل بشكل إضافي من عدد المعلمات، حيث يُشكّل فقط 2.7% من إجمالي عدد معلمات النموذج. أظهرت التجارب الواسعة على معياري التنبؤ الكثيف متعدد المهام PASCAL-Context وNYUD-v2 أن نهجنا يحقق نتائج منافسة على مستوى الحد الأقصى بين الطرق الشرطية حسب المهمة، مع استخدام عدد أقل من المعلمات، ويحافظ على توازن ملحوظ بين الأداء وحجم النموذج.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مُوجِّه النص التحويلي لتنبؤ كثيف متعدد المهام | مستندات | HyperAI