أوريون-إم.إس.بي: انتباه نادر متعدد المقياس للتعلم السياقي الجدولي
Mohamed Bouadi Pratinav Seth Aditya Tanna Vinay Kumar Sankarapu

الملخص
تظل البيانات الجدولية هي الشكل السائد في التطبيقات الواقعية. ومع ذلك، يظل تطوير نماذج عصبية فعّالة للبيانات الجدولية تحديًا كبيرًا نظرًا لتنوع أنواع الميزات وتعقيد التفاعلات التي تحدث على مسcales متعددة. وقد حققت التطورات الحديثة في التعلم السياقي للبيانات الجدولية (ICL)، مثل نموذج TabPFN وTabICL، أداءً يُعد من أحدث المستويات، مُنافسًا نماذج الأشجار المُحسَّنة بالتدريج (GBTs) دون الحاجة إلى تعديل مخصص لكل مهمة. لكن المعمارية الحالية تُعاني من قيود رئيسية: (1) معالجة الميزات على مقياس واحد فقط، مما يتجاهل الاعتماديات الهرمية؛ (2) الانتباه الكثيف الذي يُظهر تَوَسُّعًا تربيعيًا بالنسبة لعرض الجدول؛ (3) معالجة مكونات نموذجية متسلسلة بصرامة، ما يمنع تحسين التمثيل بشكل تكراري ويعيق الاتصال بين المكونات. لمعالجة هذه التحديات، نُقدِّم نموذج Orion-MSP، وهي معمارية لتعلم السياق في البيانات الجدولية، تتميز بثلاثة ابتكارات رئيسية: (1) معالجة متعددة المقياس لالتقاط التفاعلات الهرمية بين الميزات؛ (2) انتباه مُحَلَّل (block-sparse) يدمج أنماطًا نافذة (windowed) وعامة (global) وعشوائية لضمان كفاءة قابلة للتوسع واتصالًا طويل المدى؛ (3) ذاكرة من نوع Perceiver تُمكّن من تدفق معلومات ثنائي الاتجاه بأمان عبر المكونات. وقد أظهر نموذج Orion-MSP أداءً مطابقًا أو متفوقًا على أحدث النماذج في مجموعة متنوعة من المعايير، مع قدرة فعّالة على التوسع في الجداول عالية الأبعاد، مُرسيًا معيارًا جديدًا للكفاءة في التعلم السياقي للبيانات الجدولية. يُمكن الوصول إلى النموذج بشكل علني عبر الرابط: https://github.com/Lexsi-Labs/Orion-MSP.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.