Ali Montazeralghaem Guy Tennenholtz Craig Boutilier Ofer Meshi

الملخص

أصبحت النماذج اللغوية الكبيرة (LLMs) قادرة على تمكين أنظمة التوصية من التفاعل مع المستخدمين عبر واجهات حوارية مفتوحة النطاق. ولإعطاء استجابة نموذج لغوي كبير طابعًا شخصيًا، يُعدّ استخلاص تفضيلات المستخدم أمرًا بالغ الأهمية، خصوصًا في الحالات التي تكون فيها السجلات السابقة للمستخدم محدودة. إحدى الطرق لجمع معلومات إضافية هي طرح أسئلة توضيحية على المستخدم. ومع ذلك، لا يزال التحدي يكمن في إنتاج أسئلة توضيحية تسلسلية فعّالة عبر مجالات متنوعة. ولحل هذه المشكلة، نقدم منهجية جديدة لتدريب النماذج اللغوية الكبيرة على طرح أسئلة متسلسلة تكشف تفضيلات المستخدم. يعتمد منهجنا على عملية مكونة من مرحلتين مستوحاة من نماذج التشتت (diffusion models). تبدأ العملية الأولى من ملف تعريف المستخدم، حيث يتم إنشاء أسئلة توضيحية لجمع الإجابات، ثم يتم إزالة هذه الإجابات تدريجيًا، ما يُعدّ وسيلة لاستخدام "ضجيج" (noise) في ملف تعريف المستخدم. أما العملية العكسية، فهي تُدرّب النموذج على "تنقية" ملف تعريف المستخدم من خلال تعلّمه طرح أسئلة توضيحية فعّالة. أظهرت النتائج أن منهجنا يُحسّن بشكل ملحوظ كفاءة النموذج اللغوي الكبير في طرح أسئلة "مُصغّرة" (funnel questions) وجمع تفضيلات المستخدم بشكل فعّال.