HyperAIHyperAI

Command Palette

Search for a command to run...

طبقات هوبفيلد الفعّالة في معالجة القيم الشاذة للنماذج الكبيرة القائمة على المحولات

Jerry Yao-Chieh Hu Pei-Hsuan Chang Robin Luo Hong-Yu Chen Weijian Li Wei-Po Wang Han Liu

الملخص

نُقدِّم نموذج هوبفيلد الحديث الفعّال تجاه القيم الشاذة (يُشار إليه بـ OutEffHop\mathrm{OutEffHop}OutEffHop) ونستخدمه لمعالجة مشكلة عدم الفعالية تجاه القيم الشاذة في تدريب نماذج المحولات الضخمة القائمة على النماذج التحويلية. تكمن مساهمتنا الأساسية في نموذج ذاكرة ترابطية مبتكر يُمكّن من عمليات استرجاع ذاكرة فعّالة تجاه القيم الشاذة. من المثير للاهتمام أن هذا النموذج يُقدّم تفسيرًا قائمًا على النموذج لآلية انتباه فعّالة تجاه القيم الشاذة (Softmax1{\rm Softmax}_1Softmax1): فهو تقريب لعملية استرجاع الذاكرة في نموذج OutEffHop\mathrm{OutEffHop}OutEffHop. من الناحية المنهجية، يتيح لنا ذلك إدخال طبقات هوبفيلد فعّالة تجاه القيم الشاذة، كبدائل قوية لآليات الانتباه التقليدية، مع أداء متفوّق بعد التكميم. من الناحية النظرية، يحتفظ نموذج هوبفيلد الحديث الفعّال تجاه القيم الشاذة بالخصائص المرغوبة في النماذج القياسية الحديثة لهوبفيلد، بما في ذلك التقارب إلى نقاط ثابتة وسعة تخزين أسيّة. من الناحية التجريبية، نُظهر فعالية النموذج المقترح عبر نماذج كبيرة القاعدة على المحولات ونماذج هوبفيلد (بما في ذلك BERT وOPT وViT وSTanHop-Net)، ونُقارنها بأساليب حديثة متقدمة مثل ClippedSoftmax\mathtt{Clipped_Softmax}ClippedSoftmax وGatedAttention\mathtt{Gated_Attention}GatedAttention. وبشكل لافت، حقق OutEffHop\mathrm{OutEffHop}OutEffHop تقليلًا متوسطًا بنسبة 22+% في الكورتوزية المتوسطة، ونسبة 26+% في الحد الأقصى ل(norm) اللانهاية لنتائج النموذج عبر أربع نماذج. يمكن الوصول إلى الكود عبر: \href{https://github.com/MAGICS-LAB/OutEffHop}{GitHub}؛ والنموذج متاح على: \href{https://huggingface.co/collections/magicslabnu/outeffhop-6610fcede8d2cda23009a98f}{Hugging Face Hub}؛ والتحديثات المستقبلية متاحة عبر: \href{https://arxiv.org/abs/2404.03828}{arXiv}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
طبقات هوبفيلد الفعّالة في معالجة القيم الشاذة للنماذج الكبيرة القائمة على المحولات | مستندات | HyperAI