Neta Glazer Yael Segal-Feldman Hilit Segev Aviv Shamsian Asaf Buchnick Gill Hetz Ethan Fetaya Joseph Keshet Aviv Navon

الملخص

أصبحت أساليب التفسيرية (Interpretability methods) موضوعًا يحظى باهتمام متزايد مؤخرًا، خاصة في سياق النماذج اللغوية الكبيرة، حيث تتيح هذه الأساليب فهمًا أعمق لتمثيلات اللغة، وتحديد الأخطاء، وتحليل سلوك النموذج مثل التخيلات (hallucinations) والتكرارات. ومع ذلك، تظل هذه التقنيات غير مُستكشفة بشكل كافٍ في مجال التعرف التلقائي على الصوت (ASR)، رغم إمكاناتها الكبيرة في تحسين الأداء وزيادة شفافية أنظمة التعرف على الصوت. في هذا العمل، نُعدّل ونطبّق بشكل منهجي أساليب تفسيرية مُثبتة مثل "عدسة اللوغاريثم" (logit lens)، والاستقصاء الخطي (linear probing)، وتقنيات استبدال التنشيط (activation patching)، بهدف دراسة كيفية تطور المعلومات الصوتية والمعنوية عبر الطبقات المختلفة في أنظمة التعرف على الصوت. تكشف نتائج تجاربنا عن ديناميات داخلية لم تُعرف سابقًا، منها تفاعلات محددة بين وحدة التشفير (encoder) ووحدة التفكيك (decoder) مسؤولة عن ظهور التخيلات المتكررة، وكذلك التحيزات المعنى التي يتم ترميزها في العمق داخل التمثيلات الصوتية. تُظهر هذه الرؤى الفوائد الكامنة في توسيع نطاق تطبيق أساليب التفسيرية على التعرف على الصوت، وتفتح آفاقًا واعدة لأبحاث مستقبلية تهدف إلى تعزيز شفافية النماذج ومتانتها.