HyperAIHyperAI
منذ 2 أشهر

أريا: نموذج مفتوح متعدد الوسائط مزيج من الخبراء الأصليين

Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li
أريا: نموذج مفتوح متعدد الوسائط مزيج من الخبراء الأصليين
الملخص

البيانات تأتي في أشكال متنوعة. تعتبر نماذج الذكاء الاصطناعي متعددة الوسائط (Multimodal native AI models) ضرورية لدمج المعلومات من العالم الحقيقي وتقديم فهم شامل. رغم وجود نماذج خاصة متعددة الوسائط، فإن عدم شفافيتها يشكل عقبات أمام استخدامها، ناهيك عن تعديلها. لسد هذه الفجوة، نقدم "أريا" (Aria)، وهي نموذج مفتوح المصدر يتميز بأداء فائق في مجموعة واسعة من المهام المتعددة الوسائط، والمهام اللغوية، والبرمجة. يتكون "أريا" من نموذج خليط الخبراء (mixture-of-expert model) بـ 3.9 مليار و3.5 مليار معلمة مفعلة لكل رمز بصري ورمز نصي على التوالي. ويتفوق "أريا" على "بيكسترا-12B" (Pixtral-12B) و"Llama3.2-11B"، وهو يتنافس مع أفضل النماذج الخاصة في مختلف المهام المتعددة الوسائط. قمنا بتدريب "أريا" من الصفر باستخدام خط أنابيب رباعي المراحل، والذي يطور تدريجيًا قدرات النموذج في فهم اللغة، فهم الوسائط المتعددة، التعامل مع سياقات طويلة، وتتبع التعليمات. سنقوم بتوفير أوزان النموذج كود مصدر مفتوح يسهل استخدام "أريا" وتعديلها في التطبيقات الحقيقية.

أريا: نموذج مفتوح متعدد الوسائط مزيج من الخبراء الأصليين | أحدث الأوراق البحثية | HyperAI