Seit fünf Jahren arbeitet Kirill Khrylchenko, Leiter des RecSys-R&D-Teams bei Yandex, daran, Transformer-Technologien in Empfehlungssysteme zu integrieren. Im Februar 2024 erreichte das Team einen Meilenstein: die Einführung eines neuen, billionenparametrischen Transformer-Modells namens ARGUS, das die Qualität von Empfehlungen in mehreren Diensten erheblich steigert. Das Ziel war es, die Skalierung von Empfehlungssystemen zu überwinden – nicht nur in Bezug auf Modellgröße, sondern auch auf Benutzerhistorie, Kontextlänge und Trainingsdaten. Empfehlungssysteme sind essenziell, um die explosionsartig wachsende Menge an Inhalten (Musik, Videos, Produkte) für Nutzer nutzbar zu machen. Traditionell basieren solche Systeme auf mehrstufigen Architekturen: Zunächst wird eine große Menge an Kandidaten mittels effizienter Retrieval-Modelle wie Zwei-Turm-Netzwerke generiert, bei denen Nutzer- und Item-Vektoren in einem gemeinsamen semantischen Raum abgebildet werden. Die Dot-Product-Ähnlichkeit ermöglicht eine schnelle Approximation der Top-N-Kandidaten, unterstützt durch Indexstrukturen wie HNSW. Doch klassische Ansätze wie SASRec, die nur positive Interaktionen (z. B. Käufe oder Likes) berücksichtigen, sind begrenzt. Sie lernen nur, was als nächstes positiv war, ignorieren aber negative Rückmeldungen und den Kontext (z. B. Gerät, Zeitpunkt, Seite). Yandex entwickelte daher ARGUS – ein autoregressives, generatives Modell, das die gesamte Nutzerhistorie als Sequenz von Tripeln (Kontext, Item, Feedback) verarbeitet. Die beiden zentralen Lernaufgaben: 1. Next-Item-Prediction: Vorhersage des nächsten Interaktionselements – auch negativer (z. B. Skip) – unter Berücksichtigung des Kontexts. 2. Feedback-Prediction: Vorhersage mehrerer Feedback-Typen (Gefallen, Anhören, Playlist-Add, etc.) als separate Verlustfunktionen. Um die Rechenkosten zu senken, wurde eine vereinfachte Version entwickelt, bei der jedes Tripel in einen komprimierten Vektor überführt wird. Dies ermöglicht eine dreifache Beschleunigung bei gleichbleibender Qualität. Die Trainingstechnik nutzt autoregressives Lernen: Die gesamte Historie wird in einem einzigen Transformer-Durchlauf verarbeitet, was eine massive Beschleunigung gegenüber früheren Methoden (Impression-level Learning) ermöglicht. Das Modell wurde zunächst auf einem Datensatz mit über 300 Milliarden Musik-Interaktionen trainiert. Mit vier Modellgrößen – von 3,2 Mio. bis 1,007 Mrd. Parametern – zeigte sich ein klarer Skalierungseffekt: Je größer das Modell, desto besser die Performance. ARGUS übertraf selbst die HSTU-Architektur aus „Actions Speak Louder than Words“, die zwar größere Parameterzahl, aber vergleichbare Qualität aufwies. Besonders auffällig war die Verbesserung bei einer Benutzerhistorie von bis zu 8.000 Ereignissen – ein neuer Rekord in der Branche. Im Einsatz bei Yandex Music führte ARGUS zu messbaren Verbesserungen: Ein 12 %iger Anstieg der Gesamthörzeit und ein 10 %iger Anstieg der Likelihood für „Unfamiliar“-Empfehlungen (für Nutzer, die neue Inhalte entdecken wollen). Auf Smart Devices steigerte sich die Nutzungsdauer um 0,75 %. Durch die Integration von vollständigen Nutzer- und Item-Vektoren in den finalen Ranking-Netzwerk (statt nur eines Skalars) konnte die Qualität zusätzlich um das 1,5- bis 2-fache gesteigert werden. ARGUS ist nicht nur ein Ranking-Feature, sondern auch für die Kandidatengenerierung nutzbar. Die Ergebnisse zeigen: Die Skalierung von Empfehlungssystemen ist noch lange nicht abgeschlossen. Mit der Kombination von LLM-ähnlichen Prinzipien (Reinforcement Learning, kontextuelle Vorhersage), massivem Training und effizienter Architektur eröffnet ARGUS einen neuen Weg – nicht nur für Yandex, sondern für die gesamte Branche. Industrieexperten sehen in ARGUS einen Paradigmenwechsel: „Es ist das erste Mal, dass ein Empfehlungssystem die Skalierung von LLMs auf den Nutzerkontext überträgt – mit echtem Nutzen. Die Kombination aus autoregressivem Lernen, Feedback-Modellierung und kontextueller Tiefe könnte die Basis für die nächste Generation von Personalisierung sein.“ Yandex hat mit ARGUS einen wegweisenden Schritt hin zu intelligenten, selbstlernenden Empfehlungssystemen vollzogen – ein Beispiel dafür, dass große Modelle nicht nur für Sprache, sondern auch für menschliches Verhalten Sinn machen können.