مع تطور النماذج الكبيرة متعددة الوسائط (MLLMs)، أصبح من الضروري توسيع قدراتها لما وراء الحدود الفردية للوظائف، وذلك لتلبية الحاجة إلى ذكاء اصطناعي أكثر مرونة وكفاءة. ومع ذلك، فإن النماذج الشاملة السابقة لم تستكشف بشكل كافٍ جوانب الصوت، وتجاهلت دمجها مع الوسائط المتعددة. نقدّم "ليرا" (Lyra)، وهي نموذج مُحسّن من نوع MLLM، يُعزز القدرات متعددة الوسائط، بما في ذلك الفهم المتقدم للصوت الطويل، وفهم الأصوات، والكفاءة بين الوسائط المختلفة، والتفاعل السلس مع الصوت. ولتحقيق الكفاءة وتميّز النموذج بتركيزه على الصوت، تُطبّق ليرا ثلاث استراتيجيات: (1) الاستفادة من النماذج الكبيرة المفتوحة المصدر الحالية، وتطبيق طريقة LoRA متعددة الوسائط المُقترحة، لتقليل تكاليف التدريب ومتطلبات البيانات؛ (2) استخدام منظم ومسخّر لتمثيلات مُتعددة الوسائط في الفضاء المُخفي، لتعزيز العلاقة بين الصوت والوسائط الأخرى، مما يُحسّن أداء النموذج؛ (3) إنشاء مجموعة بيانات عالية الجودة وشاملة، تضم 1.5 مليون عينة متعددة الوسائط (نص، صورة، صوت)، و12 ألف عينة صوتية طويلة، ما يمكّن ليرا من التعامل مع مدخلات صوتية معقدة وطويلة، وتحقيق تفكير شامل (omni-cognition) أكثر قوة. مقارنةً بأساليب الشمولية الأخرى، تُحقّق ليرا أداءً متفوّقًا على أحدث المستويات (state-of-the-art) في مجموعة متنوعة من المعايير المعيارية، بما في ذلك معايير التوصيف البصري-اللغوي، والبصري-الصوتي، والصوتي-اللغوي، مع استخدام موارد حسابية أقل وبيانات تدريب أقل.