إعادة التفكير في التعلم النقلية والمساعدة لتحسين ترجمة النصوص الصوتية باستخدام نموذج المحول

تم تحسين أداء التسمية التلقائية للصوت (AAC) بشكل كبير من خلال استخدام معالج قائم على الترانسفورمر والتعلم المنقول. ومع ذلك، يظل تحسين أداؤه محدودًا بسبب المشكلات التالية: (1) الفرق في حجم اللوحات المدخلة بين مراحل التدريب المسبق والضبط الدقيق. (2) نقص العلاقات على المستوى المحلي بين المدخلات والنصوص التوضيحية. في هذا البحث، نقترح خطة تعلم منقول بسيطة تُحافظ على حجم اللوحات المدخلة، على عكس الأساليب السابقة، بهدف تجنب التناقضات في المدخلات. علاوةً على ذلك، نُقدّم فرعًا لتقدير الكلمات المفتاحية على مستوى اللوحات، يستخدم طريقة تجميع الانتباه (attention pooling) لتمثيل المعلومات على المستويين العالمي والمحلي بشكل فعّال. أظهرت النتائج على مجموعة بيانات AudioCaps أن الخطة والطريقة المقترحتين تسهمان بشكل كبير في تحسين الأداء. وأخيرًا، تُظهر نتائج التصور أن طريقة تجميع الانتباه المقترحة فعّالة في اكتشاف المعلومات على المستوى المحلي داخل نظام التسمية التلقائية للصوت.