BERT4Rec: التوصية التسلسلية باستخدام تمثيلات المُشفِّر الثنائي الاتجاه من ترانسفورمر

نمذجة تفضيلات المستخدمين الديناميكية والمتطورة من سلوكهم التاريخي هي تحدي صعب وحيوي لنظم التوصية. تستخدم الطرق السابقة شبكات عصبية متتابعة (مثل، الشبكة العصبية المتكررة) لترميز التفاعلات التاريخية للمستخدمين من اليسار إلى الاليمن في تمثيلات خفية لتقديم التوصيات. رغم أن هذه الطرق حققت نتائج مرضية، إلا أنها غالباً ما تفترض وجود تسلسل مرتب بشكل صارم، وهو ما ليس دائماً عملياً. نعتقد أن مثل هذه المعماريات الأحادية الاتجاه من اليسار إلى اليمين تقيد قوة تمثيلات التسلسل التاريخي. لهذا الغرض، نقدم تمثيلات مشفّرة ثنائية الاتجاه من خلال المتحولات لنموذج التوصية المتتابعة (BERT4Rec). ومع ذلك، فإن شرط وجود السياق الأيسر والأيمن معاً في النموذج الثنائي الاتجاه العميق سيجعل التدريب بسيطاً للغاية، حيث يمكن لكل عنصر رؤية "العنصر المستهدف" بشكل غير مباشر. لحل هذه المشكلة، نقوم بتدريب النموذج الثنائي الاتجاه باستخدام مهمة Cloze، وهي تتضمن التنبؤ بالعناصر المخفية في التسلسل بناءً على السياق الأيسر والأيمن لها. بالمقارنة مع التنبؤ بالعنصر التالي في كل موقع ضمن تسلسل، يمكن لمهمة Cloze إنتاج عينات أكثر للتدريب على نموذج ثنائي اتجاه أقوى. أظهرت التجارب الواسعة على أربع مجموعات بيانات مرجعية أن نموذجنا يتفوق باستمرار على مختلف النماذج المتتابعة الرائدة.注释：在阿拉伯语中，一些专有名词如“Cloze task”通常会保留英文，以确保专业领域的准确性。因此，在这里直接使用了“مهمة Cloze”。