يُعدّ ملء الفراغات (Slot Filling - SF) إحدى المهام الفرعية لفهم اللغة الشفهية (Spoken Language Understanding - SLU)، والتي تهدف إلى استخراج العناصر المعنى من جملة طبيعية مُعطاة. ويتّخذ هذا المهمة شكل مهمة تصنيف التسلسلات. وقد أظهرت الدراسات الحديثة أن المعلومات السياقية تُعدّ حاسمة لهذه المهمة. ومع ذلك، فإن النماذج الحالية تُوظّف المعلومات السياقية بطريقة محدودة، مثل استخدام الانتباه الذاتي (self-attention). وتُعاني هذه الأساليب من عدم القدرة على التمييز بين تأثيرات السياق على تمثيل الكلمة وعلى التسمية (الوسم) الخاصة بها. ولحل هذه المشكلة، نُقدّم في هذه الورقة منهجية جديدة لدمج المعلومات السياقية على مستويين مختلفين: المستوى التمثيلي (representation level) والمُستوى الخاص بالمهمة (أي مستوى التسمية - task-specific level). وتبين النتائج التجريبية الواسعة التي أجريت على ثلاث مجموعات بيانات معيارية لمهام ملء الفراغات فعالية النموذج المقترح، مما يؤدي إلى تحقيق نتائج جديدة قياسية (state-of-the-art) على جميع المجموعات الثلاث للبيانات في مهمة ملء الفراغات.