تم تطبيق نماذج التسلسل إلى التسلسل على مجموعة واسعة من المهام المتعلقة باللغة الطبيعية، ولكن لم يتم دراسة استخدامها بشكل منهجي في تتبع حالة المحادثة. في هذه الورقة، نستعرض هذه المشكلة من منظورين: أهداف التدريب المسبق (pre-training objectives) وتنسيقات تمثيل السياق. ونُظهر أن اختيار هدف التدريب المسبق يُحدث فرقًا كبيرًا في جودة تتبع الحالة. وبشكل خاص، نجد أن توقع التسلسل المُقنّع (masked span prediction) أكثر فعالية من نمذجة اللغة التلقائية (auto-regressive language modeling). كما نستكشف استخدام Pegasus، وهو هدف تدريب مسبق مبني على توقع التسلسل (span prediction) مصمم لملخصات النصوص، في نموذج تتبع الحالة. ووجدنا أن التدريب المسبق على مهمة الملخصات التي تبدو بعيدة عن المحادثة يُعطي نتائج مذهلة في تتبع حالة المحادثة. علاوةً على ذلك، وجدنا أن تمثيل السياق القائم على الحالة المتكررة (recurrent state context representation) يعمل بشكل معقول، لكن النموذج قد يواجه صعوبة في التعافي من الأخطاء السابقة. وأجرينا تجارب على مجموعات بيانات MultiWOZ 2.1-2.4، وWOZ 2.0، وDSTC2، ولاحظنا نتائج متسقة في جميعها.