Aktionen sprechen lauter als Worte: Trillion-Parameter-Sequentielle Transduktoren für generative Empfehlungen

Großskalige Empfehlungssysteme zeichnen sich durch ihre Abhängigkeit von Merkmalen hoher Kardinalität und heterogener Struktur sowie die Notwendigkeit aus, täglich zehn Milliarden Benutzeraktionen zu verarbeiten. Trotz der Ausbildung auf riesigen Datensätzen mit Tausenden von Merkmalen skaliert die Mehrheit der industriellen Deep-Learning-Empfehlungsmodelle (DLRMs) nicht mit steigender Rechenleistung.Angetrieben vom Erfolg von Transformers in Sprach- und Visionbereichen überdenken wir grundlegende Gestaltungsentscheidungen in Empfehlungssystemen. Wir formulieren Empfehlungsprobleme neu als sequenzielle Transduktionsaufgaben innerhalb eines generativen Modellierungsrahmens („Generative Recommenders“) und stellen eine neue Architektur, HSTU, vor, die speziell für Merkmale hoher Kardinalität und nicht-stationäre Streaming-Daten in Empfehlungssystemen entwickelt wurde.HSTU erreicht auf synthetischen und öffentlichen Datensätzen eine Verbesserung von bis zu 65,8 % im NDCG gegenüber Basismodellen und ist bei Sequenzen der Länge 8192 zwischen 5,3- und 15,2-fach schneller als Transformers basierend auf FlashAttention2. Generative Recommenders auf Basis von HSTU mit 1,5 Billionen Parametern verbessern in Online-A/B-Tests die Metriken um 12,4 % und wurden bereits auf mehreren Oberflächen einer großen Internetplattform mit mehreren Milliarden Nutzern eingesetzt. Vor allem jedoch zeigt die Modellqualität der Generative Recommenders empirisch eine Potenzgesetzmäßigkeit in Abhängigkeit von der verfügbaren Trainingsrechenleistung über drei Größenordnungen hinweg bis zur Skala von GPT-3/LLaMa-2. Dies verringert den zukünftigen CO₂-Fußabdruck bei der Modellentwicklung und eröffnet den Weg für die ersten Grundmodelle im Bereich der Empfehlungssysteme.