تقييم توصيات البودكاست باستخدام نموذج لغوي كبير واعٍ للملف الشخصي كمُقيّم

يظل تقييم التوصيات المخصصة تحديًا رئيسيًا، خاصة في المجالات الصوتية الطويلة مثل البودكاست، حيث تعاني المقاييس التقليدية غير المباشرة من انحياز التعرض، بينما تُعدّ الطرق المباشرة مثل اختبار A/B مكلفة ومقيدة من الناحية التشغيلية. في هذه الورقة، نقترح إطارًا جديدًا يستخدم نماذج اللغة الكبيرة (LLMs) كمُقيّمين غير مباشرين لتقييم جودة توصيات البودكاست بطريقة قابلة للتوسع وسهلة التفسير. يعتمد نهجنا ثنائي المراحل على بناء ملفات تعريف مستخدمين تعتمد على الاهتمامات، مستخلصة من سجل استماع مدته 90 يومًا. تلخّص هذه الملفات الاهتمامات الموضوعية وأنماط السلوك، وتُعدّ تمثيلات مختصرة وقابلة للتفسير لتقديرات المستخدم. بدلًا من توجيه النموذج بلغة كبيرة ببيانات خام، نستخدم هذه الملفات لتوفير سياق عالي المستوى وغني من الناحية الدلالية، مما يمكّن النموذج من التفكير بشكل أكثر فعالية حول مدى توافق اهتمامات المستخدم مع الحلقات الموصى بها. ويقلل هذا من تعقيد المدخلات ويعزز القدرة على التفسير. ثم يُطلب من النموذج تقديم أحكام دقيقة على مستوى نقطة واحدة (pointwise) ومقارنة بين نقطتين (pairwise) بناءً على توافق الملف الشخصي مع الحلقة. وفي دراسة مُحكمة شملت 47 مشاركًا، أظهر المُقيّم القائم على الملفات الشخصية تطابقًا عاليًا مع آراء البشر، وتفوّق على نسخة تستخدم سجلات الاستماع الخام أو تساويها. يتيح هذا الإطار تقييمًا فعّالًا ومُراعيًا للملفات الشخصية، مما يدعم الاختبار التكراري واختيار النماذج في أنظمة التوصية.