Xingxuan Zhang Gang Ren Han Yu Hao Yuan Hui Wang et al

الملخص

نُقدّم رأينا بأن التقدّم نحو الذكاء العام يتطلب نماذج أساسية متكاملة تقوم على اللغة، والعالم المادي، والبيانات المنظمة. ويقدّم هذا التقرير "LimiX"، أول إصدار من نماذجنا الكبيرة للبيانات المنظمة (LDMs). يتعامل LimiX مع البيانات المنظمة كتوزيع مشترك على المتغيرات وغياب القيم، مما يجعله قادرًا على معالجة طيف واسع من المهام الجدولية من خلال التنبؤ الشرطي القائم على الاستفسار باستخدام نموذج واحد فقط. تم تدريب LimiX مسبقًا باستخدام نموذج التوزيع المشترك المُخفي، مع دالة هدف دورية شرطية (episodic, context-conditional)، حيث يقوم النموذج بتوقع النتائج بالنسبة لمجموعات استفسار معينة، مشروطة بسياقات محددة لكل مجموعة بيانات، مما يدعم التكيّف السريع دون الحاجة إلى إعادة تدريب عند الاستخدام (inference). وقد تم تقييم LimiX على 10 معايير كبيرة للبيانات المنظمة، تغطي نطاقًا واسعًا من الظروف، منها حجم العينات، ودرجة أبعاد الميزات، وعدد الفئات، ونسبة الميزات الفئوية إلى العددية، ونسبة القيم المفقودة، ونسبة العينات إلى الميزات. وباستخدام نموذج واحد وواجهة موحدة، يتفوّق LimiX باستمرار على نماذج أساسية قوية، تشمل أشجار التحسين التدريجي (gradient-boosting trees)، والشبكات العميقة للبيانات الجدولية، والنماذج الأساسية الحديثة للبيانات الجدولية، والتركيبات الآلية (automated ensembles)، كما هو موضح في الشكل 1 والشكل 2. ويُظهر هذا التفوّق تفوقًا ملحوظًا في مجموعة واسعة من المهام، مثل التصنيف، الانحدار، استكمال القيم المفقودة، وإنشاء البيانات، غالبًا بفارق كبير، مع تجنّب الحاجة إلى هياكل مخصصة لكل مهمة أو تدريب مخصص لكل مهمة على حدة. جميع نماذج LimiX متاحة للجمهور بحرية تحت رخصة Apache 2.0.