المُشفرات الجملة العامة المُدربة مسبقًا مثل BERT ليست مثالية لتطبيقات الذكاء الاصطناعي التفاعلية في العالم الحقيقي؛ فهي ثقيلة الحساب، بطيئة ومكلفة التدريب. نقترح استخدام ConveRT (التمثيلات التفاعلية من المتحولات)، وهو إطار تدريب مسبق للمهام التفاعلية يلبي جميع المتطلبات التالية: أنها فعالة، اقتصادية وسريعة التدريب. نقوم بالتدريب المسبق باستخدام مهمة اختيار استجابة تعتمد على الاسترجاع، مما يتيح لنا الاستفادة بشكل فعال من التقسيم والتقسيم الفرعي للمعلمات في المشفر الثنائي لبناء نموذج خفيف الوزن وكفاءة الطاقة. نوضح أن ConveRT يحقق أداءً رائدًا في مجموعة واسعة من مهام اختيار الاستجابة المعترف بها على نطاق واسع. كما نظهر أن استخدام تاريخ الحوار الممتد كسياق يؤدي إلى زيادة الأداء. وأخيرًا، نوضح أن التمثيلات المُدربة مسبقًا من المشفر المقترح يمكن نقلها إلى مهمة تصنيف النوايا، مما يؤدي إلى تحقيق نتائج قوية عبر ثلاثة مجموعات بيانات مختلفة. يتم تدريب ConveRT بشكل كبير أسرع من المشفرات الجملة القياسية أو المشفرات الثنائية الرائدة سابقًا. ومع حجمه الصغير وأدائه المتفوق، فإننا نعتقد أن هذا النموذج يعد واعدًا بقابلية أكبر للنقل والتوسع في تطبيقات الذكاء الاصطناعي التفاعلي.