HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 9 أيام

الشبكات ذات العرض الافتراضي

الشبكات ذات العرض الافتراضي

الملخص

نُقدِّم شبكة العرض الافتراضي (VWN)، وهي إطار عمل يُقدِّم مزايا التمثيلات الأعرض دون تحمُّل التكلفة التربيعية الناتجة عن زيادة الحجم الخلفي. تُفرِّق VWN بين عرض التمثيل وعرض الهيكل الأساسي، حيث يتم توسيع فضاء التضمين مع الحفاظ على الحوسبة الأساسية تقريبًا ثابتة. في تجربتنا على نطاق واسع، أدى توسيع العرض الافتراضي 8 مرات إلى تسريع عملية التحسين بأكثر من الضعف في توقع الرمز التالي، وبأكثر من 3 أضعاف في توقع الرمز الثاني. وتزداد الميزة مع تقدم التدريب، حيث يزداد فجوة الخسارة ونسبة تسريع الاتجاه نحو الاتساق، مما يُظهر أن VWN ليست فعّالة من حيث كفاءة الرموز فحسب، بل تزداد فعاليتها بشكل متزايد مع التوسع. علاوةً على ذلك، حددنا علاقة تدريجية تقريبًا خطية بين العرض الافتراضي وخفض الخسارة، مما يُقدِّم أساسًا تجريبيًا أوليًا ودوافع لاستكشاف التوسع في العرض الافتراضي كبعد جديد لفعالية النماذج الكبيرة.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الشبكات ذات العرض الافتراضي | الأوراق البحثية | HyperAI