HyperAIHyperAI

Command Palette

Search for a command to run...

SoMA: التكيف بالمركبات الصغرى المفككة بالقيم المفردة لتعلم تمثيل قابل للعامة في المجال

Seokju Yun Seunghye Chae Dongheon Lee Youngmin Ro

الملخص

تهدف التعميم النطقي (DG) إلى تكييف نموذج باستخدام مجال واحد أو أكثر من المجالات المصدرية لضمان أداءً قويًا في المجالات الهدف غير المرئية. في الآونة الأخيرة، أظهرت طرق التخصيص الفعّال من حيث المعلمات (PEFT) للنماذج الأساسية نتائج واعدة في سياق مشكلة التعميم النطقي. ومع ذلك، ما زالت الطرق الحالية لـ PEFT تواجه صعوبة في تحقيق توازن بين الحفاظ على المكونات القابلة للتعميم في النموذج المُدرّب مسبقًا وتعلم السمات الخاصة بالمهام. وللتوصل إلى فهم أعمق لتوزيع هذه المكونات القابلة للتعميم، نبدأ بتحليل الأوزان المُدرّبة مسبقًا من منظور تحليل القيم الفردية (Singular Value Decomposition). بالاعتماد على هذه الرؤى، نقدم منهجية تُسمى تكييف المكونات الصغرى المُحلّلة حسب القيم الفردية (SoMA)، التي تقوم بتعديل مكونات القيم الفردية الصغيرة بشكل انتقائي مع الإبقاء على باقي المكونات ثابتة. وتُحافظ SoMA بشكل فعّال على قدرة النموذج المُدرّب مسبقًا على التعميم، في حين تُمكّن من اكتساب المهارات الخاصة بالمهام بكفاءة. علاوةً على ذلك، نثبّت الكتل القابلة للتعميم عبر المجالات، ونطبّق استراتيجية تراجع تدريجي للوزن (annealing weight decay)، مما يُحقق توازنًا مثاليًا في التناقض الدقيق بين القدرة على التعميم والتمييز. وتُحقّق SoMA نتائج رائدة على عدة معايير تشمل كلاً من التصنيف الشامل للسياقات في المجالات النطاقية وتحديد الكائنات في المجالات النطاقية. بالإضافة إلى ذلك، لا تضيف منهجياتنا أي تكلفة إضافية أثناء الاستدلال، ولا تُستخدم خسائر تنظيمية، وتحافظ على التوافق مع أي هيكل أساسي (backbone) أو رأس تصنيف (head)، كما تم تصميمها لتكون متنوعة ومُبسّطة، مما يسمح بدمجها بسهولة في طيف واسع من المهام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp