HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 19 أيام

أوريون-إم.إس.بي: انتباه نادر متعدد المقياس للتعلم السياقي الجدولي

Mohamed Bouadi Pratinav Seth Aditya Tanna Vinay Kumar Sankarapu

أوريون-إم.إس.بي: انتباه نادر متعدد المقياس للتعلم السياقي الجدولي

الملخص

تظل البيانات الجدولية هي الشكل السائد في التطبيقات الواقعية. ومع ذلك، يظل تطوير نماذج عصبية فعّالة للبيانات الجدولية تحديًا كبيرًا نظرًا لتنوع أنواع الميزات وتعقيد التفاعلات التي تحدث على مسcales متعددة. وقد حققت التطورات الحديثة في التعلم السياقي للبيانات الجدولية (ICL)، مثل نموذج TabPFN وTabICL، أداءً يُعد من أحدث المستويات، مُنافسًا نماذج الأشجار المُحسَّنة بالتدريج (GBTs) دون الحاجة إلى تعديل مخصص لكل مهمة. لكن المعمارية الحالية تُعاني من قيود رئيسية: (1) معالجة الميزات على مقياس واحد فقط، مما يتجاهل الاعتماديات الهرمية؛ (2) الانتباه الكثيف الذي يُظهر تَوَسُّعًا تربيعيًا بالنسبة لعرض الجدول؛ (3) معالجة مكونات نموذجية متسلسلة بصرامة، ما يمنع تحسين التمثيل بشكل تكراري ويعيق الاتصال بين المكونات. لمعالجة هذه التحديات، نُقدِّم نموذج Orion-MSP، وهي معمارية لتعلم السياق في البيانات الجدولية، تتميز بثلاثة ابتكارات رئيسية: (1) معالجة متعددة المقياس لالتقاط التفاعلات الهرمية بين الميزات؛ (2) انتباه مُحَلَّل (block-sparse) يدمج أنماطًا نافذة (windowed) وعامة (global) وعشوائية لضمان كفاءة قابلة للتوسع واتصالًا طويل المدى؛ (3) ذاكرة من نوع Perceiver تُمكّن من تدفق معلومات ثنائي الاتجاه بأمان عبر المكونات. وقد أظهر نموذج Orion-MSP أداءً مطابقًا أو متفوقًا على أحدث النماذج في مجموعة متنوعة من المعايير، مع قدرة فعّالة على التوسع في الجداول عالية الأبعاد، مُرسيًا معيارًا جديدًا للكفاءة في التعلم السياقي للبيانات الجدولية. يُمكن الوصول إلى النموذج بشكل علني عبر الرابط: https://github.com/Lexsi-Labs/Orion-MSP.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
أوريون-إم.إس.بي: انتباه نادر متعدد المقياس للتعلم السياقي الجدولي | الأوراق البحثية | HyperAI