نقدّم نهجًا جديدًا لمحولات (Transformers) يتعلم التمثيلات الهرمية في المحادثات متعددة الأطراف. أولاً، تُستخدم ثلاث مهام لتمثيل اللغة في مرحلة التدريب المسبق للمحولات، وهي تمثيل اللغة على مستوى الرموز (token) ومستوى الجملة (utterance) وتنبؤ بترتيب الجمل، بهدف تعلّم تمثيلات للرموز والجمل لتحسين الفهم في السياقات الحوارية. ثم، يُطبّق التعلم متعدد المهام بين تنبؤ الجملة وتنبؤ الفترات (token span) لضبط النموذج الدقيق لمهام الإجابة على الأسئلة القائمة على الفترات (span-based QA). تم تقييم النهج المقترح على مجموعة بيانات FriendsQA، وأظهر تحسينًا بنسبة 3.8% و1.4% مقارنة بنموذجَي المحولات الأفضل حاليًا، وهما BERT وRoBERTa، على التوالي.