الإجراءات تتحدث بصوت أعلى من الكلمات: محولات تسلسلية بتريليونات المعلمات لتقديم توصيات توليدية

تميّز أنظمة التوصية الضخمة باعتمادها على ميزات ذات رتبة عالية ومتعددة الأنواع، بالإضافة إلى الحاجة إلى التعامل مع عشرات المليارات من تفاعلات المستخدمين يوميًا. وعلى الرغم من تدريب معظم نماذج التوصية العميقة (DLRMs) الصناعية على كميات هائلة من البيانات التي تتضمن آلاف الميزات، إلا أنها تفشل في التوسع مع القدرة الحاسوبية.مستوحاة من النجاح الذي حققته نماذج Transformers في مجالات اللغة والرؤية، نعيد النظر في الاختيارات الأساسية في تصميم أنظمة التوصية. نعيد صياغة مسائل التوصية كمهام تحوير تسلسلي ضمن إطار نمذجة توليدية ("مُوصيّات توليدية")، ونُقدّم معمارية جديدة تُسمى HSTU، مصممة لمعالجة بيانات التوصية عالية الرتبة وغير الثابتة في التدفق.أظهرت HSTU تفوقًا على النماذج الأساسية في مجموعات بيانات اصطناعية وعامة بنسبة تصل إلى 65.8% في مقياس NDCG، وهي أسرع من نماذج Transformers المستندة إلى FlashAttention2 بعوامل تتراوح بين 5.3 إلى 15.2 مرة عند معالجة تسلسلات طولها 8192. كما أن نماذج التوصية التوليدية القائمة على HSTU، والتي تضم 1.5 تريليون معلمة، ساهمت في تحسين المقاييس بنسبة 12.4% في اختبارات A/B عبر الإنترنت، وتم نشرها على عدة أسطح لمنصة إنترنت ضخمة تضم مليارات المستخدمين. والأهم من ذلك، أن جودة النموذج في مُوصيّات التوليد تزداد تبعًا لقانون القوة (power-law) بالنسبة للكمية الحاسوبية المستخدمة في التدريب، عبر ثلاث رتب من التباين، حتى مستوى نماذج GPT-3/LLaMa-2، مما يقلل من البصمة الكربونية المطلوبة لتطوير النماذج المستقبلية، ويفتح الطريق لظهور أول نماذج أساسية في مجال التوصية.