HyperAIHyperAI

Command Palette

Search for a command to run...

Evo-ViT: تطور الرموز البطيء والسريع لـ Transformer البصري الديناميكي

Yifan Xu extsuperscript1,3,4* Zhijie Zhang extsuperscript2,3* Mengdan Zhang extsuperscript3 Kekai Sheng extsuperscript3 Ke Li extsuperscript3 Weiming Dong extsuperscript1,4† Liqing Zhang extsuperscript2 Changsheng Xu extsuperscript1,4 Xing Sun extsuperscript3†

الملخص

لقد حظيت نماذج التحويل البصري (Vision Transformers - ViTs) بشعبية متزايدة بشكل كبير مؤخرًا، لكن تكلفة الحسابات الضخمة لا تزال مشكلة خطيرة. نظرًا لأن تعقيد الحسابات في ViT يتناسب تنازعيًا مع طول سلسلة المدخلات، فإن النهج الرئيسي لتقليل الحسابات هو تقليل عدد الرموز (tokens). تصاميم موجودة تتضمن ضغط فضائي منظم يستخدم هرمًا متصاعدًا لتقليل حسابات الخرائط الميزانية الكبيرة، وتقليم رمزي غير منظم يسقط الرموز الزائدة بطريقة ديناميكية.ومع ذلك، فإن قيود التقليم الرمزي الموجود تنقسم إلى نقطتين: 1) البنية الفضائية غير الكاملة التي تنتج عن التقليم ليست متوافقة مع الضغط الفضائي المنظم الذي يتم استخدامه بشكل شائع في نماذج التحويل العميقة والضيقة الحديثة؛ 2) غالبًا ما يتطلب إجراءً مسبقًا للتدريب يستغرق وقتًا طويلاً.لحل هذه القيود وتوسيع نطاق التطبيق للتقليم الرمزي، نقدم Evo-ViT، وهو نهج تطور بطيء-سريع ذاتي الدافع لاختيار الرموز في نماذج التحويل البصري. تحديداً، نقوم باختيار رموز غير منظمة لكل حالة مستفيدة من انتباه الفصل العالمي البسيط والفعال الذي هو جزء أصلي من نماذج التحويل البصري. ثم، نقترح تحديث الرموز المعلوماتية وغير المعلوماتية باستخدام مسارات حسابية مختلفة، وهي عملية تحديث بطيء-سريع. بما أن آلية التحديث البطيء-السريع تحتفظ بالبنية الفضائية وتدفق المعلومات، يمكن لـ Evo-ViT تسريع النماذج التقليدية للتحويل سواء كانت بنية مسطحة أو عميقة ضيقة منذ بداية عملية التدريب. تظهر النتائج التجريبية أن طرقنا تقلل بشكل كبير من تكلفة الحسابات في نماذج التحويل البصري بينما تحتفظ بأداء مparable على تصنيف الصور.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp