تحسين التوصيف الآلي للصوت من خلال نماذج اللغة الكبيرة مع ترميز صوتي مُحسَّن

الكتابة التلقائية للصوت (AAC) هي مهمة تحويل الصوت إلى نص، تهدف إلى وصف محتوى الصوت بلغة طبيعية. في الآونة الأخيرة، ساهمت التطورات في النماذج اللغوية الكبيرة (LLMs)، إلى جانب تحسين أساليب التدريب الخاصة بمحولات الصوت، في إتاحة فرص لتحسين أداء AAC. لذلك، نستكشف تحسين AAC من ثلاث جوانب: 1) استخدام محول صوتي مُدرّب مسبقًا عبر تقنية التجميع المتسق للتخفيف (CED) لتحسين كفاءة الرموز الصوتية، مع استخدام نموذج تحويلي استقصائي (Q-Former) لتقليل الفجوة بين الوسائط وضغط الرموز الصوتية؛ 2) ندرس المزايا الناتجة عن استخدام نموذج Llama 2 ذي 7 مليار معلمة كمُفكّك (decoder)؛ 3) نستخدم نموذجًا لغويًا كبيرًا مُدرّبًا مسبقًا لتصحيح الأخطاء الناتجة عن نقص البيانات التدريبية والغموض في التسميات. كما يتم تحسين كل من محول الصوت والفكّار النصي باستخدام تقنية التكييف من الرتبة المنخفضة (LoRA). أظهرت التجارب أن كل من هذه التحسينات فعّالة. وحقق نهجنا نتيجة بدرجة SPIDEr-FL تبلغ 33.0، متفوّقًا على الفائز في المهمة 6A ضمن مسابقة DCASE 2023.