HyperAI超神经

عززت تقنية التكيف منخفض الرتبة (LoRA) بشكل كبير كفاءة ضبط معلمات النماذج الكبيرة المُدرَّبة مسبقًا. تُحسِّن LoRA أوزان النموذج المُدرَّبة مسبقًا بإضافة حاصل ضرب مصفوفتين أصغر حجمًا، واللتين تُشكِّلان معًا تحديثًا لمصفوفة منخفضة الرتبة. ومع ذلك، فقد وجدت دراسات حديثة أن اختلاف المقياس بين هاتين المصفوفتين غالبًا ما يؤدي إلى ديناميكيات تدريب غير مستقرة، مما يؤثر في النهاية على أداء النموذج.

استجابةً لذلك، اقترح معهد إسرائيل للتكنولوجيا وجامعة باريس دوفين بشكل مشترك طريقة SINGLORA. تُطبّق هذه الطريقة بإعادة صياغة التكيف منخفض الرتبة كتحديث لوزن التعلم، أي تحليل ناتج مصفوفة واحدة منخفضة الرتبة ونقلها. يُزيل هذا التصميم البسيط تضارب المقياس بين المصفوفات، ويضمن استقرار عملية التحسين، ويُقلّل عدد المعاملات تقريبًا إلى النصف.

رابط الورقة:https://go.hyper.ai/o55xh

أحدث أبحاث الذكاء الاصطناعي:https://go.hyper.ai/hzChC

من أجل السماح لمزيد من المستخدمين بمعرفة أحدث التطورات في مجال الذكاء الاصطناعي في الأوساط الأكاديمية، أطلق الموقع الرسمي لـ HyperAI (hyper.ai) الآن قسم "أحدث الأوراق البحثية"، والذي يقوم بتحديث أوراق البحث المتطورة في مجال الذكاء الاصطناعي كل يوم.إليكم 5 أوراق بحثية شائعة حول الذكاء الاصطناعي نوصي بهافي الوقت نفسه، قمنا أيضًا بتلخيص الخريطة الذهنية لهيكل الورقة للجميع. لنلقِ نظرة سريعة على إنجازات الذكاء الاصطناعي الرائدة لهذا الأسبوع⬇️

توصيات الورقة البحثية لهذا الأسبوع

1 SingLoRA: التكيف مع الرتبة المنخفضة استخدام مصفوفة واحدة

يُعيد SingLoRA تعريف التكيف منخفض الرتبة من خلال التعبير عن تحديثات الأوزان كتحليل لمصفوفة واحدة منخفضة الرتبة ونقلها. يُزيل هذا التصميم البسيط بطبيعته تضاربات المقياس بين المصفوفات، ويضمن استقرار عملية التحسين، ويُقلل عدد المعاملات إلى النصف تقريبًا. حلل فريق البحث SingLoRA في إطار شبكة عصبية ذات عرض لا نهائي، وأظهرت النتائج التجريبية أن تصميمه بحد ذاته قادر على ضمان استقرار تعلم الميزات.

رابط الورقة:https://go.hyper.ai/o55xh

2 تقرير فني من MedGemma

تُقدّم هذه الورقة البحثية MedGemma، وهي مجموعة من نماذج الرؤية الطبية القائمة على اللغة، والمبنية على Gemma 34B و27B. تُظهر MedGemma قدرات متقدمة في الفهم الطبي والاستدلال على الصور والنصوص، متفوقةً بشكل ملحوظ على النماذج التوليدية من نفس الحجم، ومقاربةً في أدائها نماذج المهام المحددة، مع الحفاظ على القدرات العامة لنماذج Gemma 3 الأساسية. تُوفّر عائلة MedGemma أساسًا متينًا لقدرات الصور والنصوص الطبية، ومن المتوقع أن تُسرّع بشكل كبير من الأبحاث الطبية وتطوير التطبيقات اللاحقة.

رابط الورقة:https://go.hyper.ai/7m0SB

3 StreamVLN: التنقل عبر الرؤية واللغة عبر نمذجة السياق SlowFast

في هذه الورقة، نقترح إطار عمل VLN متدفقًا يُسمى StreamVLN، والذي يعتمد استراتيجية نمذجة سياقية هجينة بطيئة-سريعة لدعم التفكير متعدد الوسائط على المدخلات البصرية واللغوية والفعلية المتداخلة. يُسهّل سياق المحادثة المتدفق السريع توليد إجراءات متجاوبة من خلال نافذة منزلقة للمحادثات النشطة، بينما يُضغط سياق الذاكرة المُحدّث ببطء على الحالة البصرية التاريخية باستخدام استراتيجية تقليم الرموز ثلاثية الأبعاد.

رابط الورقة:https://go.hyper.ai/GSqkV

4 نقد النماذج العالمية

في هذه الورقة، نقترح نموذجًا عالميًا عامًا جديدًا يعتمد على التمثيلات المستمرة/المنفصلة متعددة المستويات والهجينة، ونعتمد إطارًا تعليميًا توليديًا ومشرفًا ذاتيًا، ونتصور أنظمة ذكاء اصطناعي عامة مادية ووكيلية ومتداخلة (PAN) مدعومة بهذا النموذج.

رابط الورقة:https://go.hyper.ai/hd6Iy

5 DreamVLA: نموذج الرؤية واللغة والفعل، حلمٌ بمعرفة عالمية شاملة

في هذه الورقة، نقترح إطار عمل مبتكرًا لتحليل البيانات الضخمة (VLA) يُسمى DreamVLA، والذي يُنشئ حلقة إدراك-تنبؤ-فعل لمهام التلاعب من خلال دمج تنبؤات شاملة للمعرفة العالمية لتحقيق نمذجة ديناميكية عكسية. وتحديدًا، يُقدم DreamVLA طريقة ديناميكية للتنبؤ بمعرفة العالم موجهة إقليميًا، تجمع بين الإشارات المكانية والدلالية لتوفير تمثيل مُحكم وشامل لتخطيط العمل. يتوافق هذا التصميم مع طريقة تفاعل البشر مع العالم، والتي تتمثل في تكوين سلسلة تفكير تجريدية متعددة الوسائط أولًا، ثم اتخاذ إجراء.

رابط الورقة:https://go.hyper.ai/JEX2D

هذا هو محتوى توصيات البحث لهذا الأسبوع. لمزيد من أبحاث الذكاء الاصطناعي المتطورة، يُرجى زيارة قسم "أحدث الأبحاث" على الموقع الرسمي لـ hyper.ai.

نرحب أيضًا بفرق البحث لتقديم نتائج وأوراق بحثية عالية الجودة إلينا. يمكن للمهتمين إضافة حساب نيوروستار على وي تشات (معرف وي تشات: Hyperai01).

نراكم في الاسبوع القادم!