HyperAI

مع التطور السريع لنماذج اللغات واسعة النطاق، أظهرت آليات الانتباه الكامل دقةً مذهلة. ومع ذلك، فإن تعقيدها الحسابي البالغ O(n²) يؤدي إلى استهلاك كبير للذاكرة وطاقة الحوسبة في المهام طويلة السياق، مما يحد من كفاءة تطبيقها. غالبًا ما تعتمد البنى الحالية على التدريب من الصفر، وهو أمر مكلف وغير مناسب لمؤسسات البحث الصغيرة والمتوسطة. لا تزال البنى الهجينة، رغم تحقيق التوازن بين الدقة والكفاءة، تواجه تحديات في تعقيد التصميم وتكيف الأجهزة.

ولمعالجة هذه التحديات، اقترح فريق البحث Jet-Nemotron، الذي يستخدم Post-Neural Architecture Search (PostNAS) لتجميد أوزان MLP على نموذج الانتباه الكامل المدرب مسبقًا، واستكشاف تصميم وحدة الانتباه الأمثل، وتحسين معدل إنتاج الجيل بشكل كبير مع الحفاظ على دقة نموذج الانتباه الكامل أو تجاوزها، مما يوفر مسارًا مجديًا لتصميم نموذج لغوي فعال.

رابط الورقة:https://go.hyper.ai/8MhfF

أحدث أبحاث الذكاء الاصطناعي:https://go.hyper.ai/hzChC

من أجل السماح لمزيد من المستخدمين بمعرفة أحدث التطورات في مجال الذكاء الاصطناعي في الأوساط الأكاديمية، أطلق الموقع الرسمي لـ HyperAI (hyper.ai) الآن قسم "أحدث الأوراق البحثية"، والذي يقوم بتحديث أوراق البحث المتطورة في مجال الذكاء الاصطناعي كل يوم.إليكم 5 أوراق بحثية شائعة حول الذكاء الاصطناعي نوصي بهافي الوقت نفسه، قمنا أيضًا بتلخيص الخريطة الذهنية لهيكل الورقة للجميع. لنلقِ نظرة سريعة على إنجازات الذكاء الاصطناعي الرائدة لهذا الأسبوع⬇️

توصيات الورقة البحثية لهذا الأسبوع

1. جيت-نيموترون: نموذج لغوي فعال مع بحث في بنية ما بعد العصبية

تقدم هذه الورقة البحثية Jet-Nemotron، وهي عائلة من نماذج اللغات ذات البنية الهجينة المبتكرة، تُحسّن بشكل ملحوظ إنتاجية التوليد مع الحفاظ على دقة نماذج الانتباه الكامل الرائدة أو تجاوزها. طُوّر Jet-Nemotron باستخدام عملية استكشاف بنية عصبية جديدة تُسمى "بحث ما بعد البنية العصبية"، والتي تُمكّن من تصميم نموذج فعال. بخلاف الطرق التقليدية، يبدأ PostNAS بنموذج انتباه كامل مُدرّب مسبقًا ويُجمّد أوزان المُدركات متعددة الطبقات، مما يُتيح استكشافًا فعالًا لهياكل وحدات الانتباه.

رابط الورقة:https://go.hyper.ai/8MhfF

2. تقرير فني Ovis2.5

تقدم هذه الورقة البحثية برنامج Ovis2.5، المصمم للإدراك البصري بدقة أصلية والتفكير متعدد الوسائط القوي. يدمج Ovis2.5 محولًا بصريًا بدقة أصلية يعالج الصور مباشرةً بدقتها الأصلية المتغيرة، متجنبًا تدهور الجودة المرتبط بالتجزئة بدقة ثابتة، مع الحفاظ التام على التفاصيل الدقيقة والتخطيط الشامل.

رابط الورقة:https://go.hyper.ai/nZOmk

3. FutureX: معيار متقدم مباشر لوكلاء LLM في التنبؤ بالمستقبل

يتطلب التنبؤ بالمستقبل من الوكلاء امتلاك منطق معقد وقدرة على التكيف الديناميكي، وهي مهمة معقدة لوكلاء نماذج اللغة الكبيرة. حاليًا، هناك نقص في معايير التقييم واسعة النطاق التي يمكنها التحديث الفوري وتقييم أداء التنبؤ بدقة. تقترح هذه الورقة FutureX، وهو معيار تقييم ديناميكي فوري مصمم خصيصًا لمهام التنبؤ بالمستقبل لوكلاء LLM. يُعد FutureX أكبر إطار عمل لتقييم التنبؤ الفوري وأكثرها تنوعًا حتى الآن. يدعم التحديث اليومي الفوري ويستخدم عمليات آلية لجمع الأسئلة والأجوبة، مما يُقلل بشكل فعال من تلوث البيانات.

رابط الورقة:https://go.hyper.ai/rjbaU

4. MeshCoder: توليد أكواد شبكية منظمة من خلال السحابات النقطية باستخدام برنامج LLM

تُعد إعادة بناء الكائنات ثلاثية الأبعاد إلى برامج قابلة للتعديل أمرًا بالغ الأهمية لتطبيقات مثل الهندسة العكسية وتحرير الأشكال، إلا أن الطرق الحالية لا تزال تعاني من العديد من القيود. تقترح هذه الورقة البحثية MeshCoder، وهو إطار عمل جديد يُعيد بناء الكائنات ثلاثية الأبعاد المعقدة من سحابات النقاط إلى نصوص برمجية قابلة للتعديل في Blender بلغة Python. من خلال تطوير واجهة برمجة تطبيقات غنية، وبناء مجموعة بيانات واسعة النطاق لكائنات-رموز، وتدريب نموذج لغوي متعدد الوسائط، يُحقق تحويلًا عالي الدقة من الشكل إلى رمز. هذا لا يُحسّن أداء إعادة بناء الأبعاد ثلاثية الأبعاد فحسب، بل يدعم أيضًا التحرير البديهي للهندسة والطوبولوجيا، مما يُعزز قدرات LLM على التفكير المنطقي لفهم الأشكال ثلاثية الأبعاد.

رابط الورقة:https://go.hyper.ai/EAWIn

5. DuPO: تمكين التحقق الذاتي الموثوق به من برنامج الماجستير في القانون من خلال تحسين التفضيل المزدوج

تقترح هذه الورقة البحثية إطار عمل لتحسين التفضيلات قائم على التعلم الثنائي، يُولّد تغذية راجعة غير مُصنّفة عبر الثنائية المُعمّمة. يُعالج إطار عمل DuPO قيدين رئيسيين: أولًا، يعتمد التعلم التعزيزي بمكافآت قابلة للتحقق (RLVR) على تعليقات توضيحية مُكلفة، ولا يُطبّق إلا على المهام القابلة للتحقق؛ ثانيًا، يقتصر التعلم الثنائي التقليدي على أزواج المهام الثنائية فقط (مثل الترجمة والترجمة العكسية).

رابط الورقة:https://go.hyper.ai/2Gycl

هذا هو محتوى توصيات البحث لهذا الأسبوع. لمزيد من أبحاث الذكاء الاصطناعي المتطورة، يُرجى زيارة قسم "أحدث الأبحاث" على الموقع الرسمي لـ hyper.ai.

نرحب أيضًا بفرق البحث لتقديم نتائج وأوراق بحثية عالية الجودة إلينا. يمكن للمهتمين إضافة حساب نيوروستار على وي تشات (معرف وي تشات: Hyperai01).

نراكم في الاسبوع القادم!