Skalierbare Kreuzentropieverlustfunktion für sequenzielle Empfehlungen mit großen Artikelkatalogen

Die Skalierbarkeit stellt eine entscheidende Herausforderung bei der Produktion moderner Empfehlungssysteme dar. Selbst leichtgewichtige Architekturen können aufgrund von Zwischenberechnungen unter hohem Rechenaufwand leiden, was ihre praktische Anwendbarkeit in realen Szenarien einschränkt. Insbesondere führt die Anwendung der vollständigen Kreuzentropie-(CE-)Verlustfunktion häufig zu state-of-the-art-Leistungen hinsichtlich der Empfehlungsqualität. Allerdings verursacht sie bei großen Artikelkatalogen eine übermäßige Auslastung des GPU-Speichers. In dieser Arbeit wird eine neuartige, skalierbare Kreuzentropie-(SCE-)Verlustfunktion im Kontext sequenziellen Lernens vorgestellt. Sie approximiert die CE-Verlustfunktion für Datensätze mit großen Katalogen und verbessert sowohl die Zeit- als auch die Speichereffizienz, ohne die Empfehlungsqualität zu beeinträchtigen. Im Gegensatz zu traditionellen Methoden des negativen Sampling nutzt unser Ansatz eine selektive, GPU-effiziente Berechnungsstrategie, die sich auf die informativsten Elemente des Katalogs konzentriert, insbesondere jene, die am wahrscheinlichsten als Falschpositive auftreten. Dies wird erreicht, indem die Softmax-Verteilung über eine Teilmenge der Modellausgaben mittels Maximum Inner Product Search (MIPS) approximiert wird. Experimentelle Ergebnisse auf mehreren Datensätzen belegen die Wirksamkeit von SCE: Im Vergleich zu Alternativen lässt sich der Spitzenmemorybedarf um einen Faktor bis zu 100 reduzieren, während die Metriken entweder beibehalten oder sogar übertroffen werden. Der vorgeschlagene Ansatz eröffnet zudem neue Perspektiven für skalierbare Entwicklungen in verschiedenen Domänen, beispielsweise bei großen Sprachmodellen.