يُعدّ فهم الصوت مهمة متعددة الوسائط تستخدم الذكاء الاصطناعي لتحليل المعلومات الصوتية والتعرف عليها وفهمها. ويهدف إلى تمكين الآلات ليس فقط من معالجة الإشارات الصوتية، بل أيضًا من فهم محتوى اللغة والمعلومات البيئية والخصائص العاطفية والعلاقات الدلالية الكامنة فيها. وتدمج هذه التقنية التعرف التلقائي على الكلام، والتعرف على الأحداث الصوتية، ومعالجة اللغة الطبيعية، والتعلم متعدد الوسائط، وهي أساس بالغ الأهمية لتحقيق تفاعل صوتي ذكي.

يعتمد تطوير فهم الصوت على أبحاث طويلة الأمد في مجالات متعددة، تشمل معالجة الكلام والتعلم الآلي. كانت الأنظمة المبكرة تتعامل مع التعرف على الكلام وتصنيف الصوت وفهم اللغة كمهام منفصلة، مما صعّب الربط بين الإشارات الصوتية والدلالات اللغوية عالية المستوى. مع تطور النماذج المدربة مسبقًا على نطاق واسع والتعلم متعدد الوسائط، بدأ الباحثون باستكشاف دمج مشفرات الصوت مع نماذج اللغة، مما مكّن النموذج من معالجة المعلومات الصوتية والنصية في آنٍ واحد. في عام ٢٠٢٣، نشر باحثون من جوجل ورقة بحثية... أوديو بالم: نموذج لغوي ضخم يمكنه التحدث والاستماع تم اقتراح نموذج AudioPaLM، الذي يجمع بين قدرة PaLM-2 على فهم اللغة وقدرات معالجة الصوت، ويستكشف إطار عمل نموذج لغوي واسع النطاق يتمتع بقدرات فهم سمعي وتوليد كلام. وقد أصبح هذا النموذج أحد أهم الدراسات التمثيلية في مجال نموذج اللغة الصوتية (ALM).

تستخلص أنظمة فهم الصوت الحديثة عادةً خصائص الصوت من خلال مُشفِّرات الصوت، ثم تُسقطها على فضاء دلالي لغوي باستخدام نماذج متعددة الوسائط، ما يُتيح لها أداء مهام مثل التعرف على الكلام، وتوليد وصف صوتي، وتحليل الأحداث الصوتية، والاستدلال متعدد الوسائط. في السنوات الأخيرة، ومع تطور نماذج الصوت الأساسية والنماذج متعددة الوسائط واسعة النطاق، انتشر استخدام هذه التقنية على نطاق واسع في تطبيقات متنوعة، مثل المساعدين الأذكياء، وتفريغ الاجتماعات، والبحث الصوتي، وتحليل المحتوى، ودعم الوصول، والتفاعل بين الإنسان والحاسوب، مما يوفر دعمًا تقنيًا بالغ الأهمية للآلات لفهم المعلومات الصوتية في العالم الحقيقي.