HyperAIHyperAI
منذ 17 أيام

النماذج اللغوية هي واجهات عامة الغرض

Yaru Hao, Haoyu Song, Li Dong, Shaohan Huang, Zewen Chi, Wenhui Wang, Shuming Ma, Furu Wei
النماذج اللغوية هي واجهات عامة الغرض
الملخص

لقد لاقت النماذج الأساسية اهتمامًا كبيرًا بفضل فعاليتها في مجموعة واسعة من التطبيقات الطرفية. وعلى الرغم من التقارب الكبير من حيث البنية المعمارية، تُبنى معظم النماذج المُدرَّبة مسبقًا عادةً لمهام أو أشكال محددة. في هذه الدراسة، نقترح استخدام النماذج اللغوية كواجهة عامة للتواصل مع مختلف النماذج الأساسية. حيث تُدرك مجموعة من المُشفِّرات المُدرَّبة مسبقًا أشكالًا متنوعة (مثل الرؤية واللغة)، وتتَّصل بنموذج لغوي يُؤدي دور طبقة مهمة عالمية. ونُقدِّم هدفًا للنمذجة اللغوية شبه السببية لتدريب الواجهة والمشفرات الوحدوية معًا. ونُدمج في هذا النهج المزايا والقدرات من كل من النمذجة السببية وغير السببية، مما يجمع بين أفضل ما في العالمين. وبشكل خاص، لا ترث الطريقة المقترحة فقط قدرات التعلم في السياق والتعبير المفتوح من النمذجة اللغوية السببية، بل تُسهِّل أيضًا عملية التخصيص الدقيق بفضل المشفرات ثنائية الاتجاه. والأهم من ذلك، أن نهجنا يُمكِّن بشكل سلس من دمج هذه القدرات المذكورة، مثل تمكين التعلم في السياق أو اتباع التعليمات باستخدام مشفرات تم تخصيصها. وأظهرت النتائج التجريبية عبر مجموعة متنوعة من المعايير اللغوية فقط والمعايير المرتبطة بالرؤية واللغة أن نموذجنا يتفوق أو يوازي النماذج المتخصصة في التخصيص الدقيق، والتمييز الصفري، والتعلم القليل.

النماذج اللغوية هي واجهات عامة الغرض | أحدث الأوراق البحثية | HyperAI