HyperAIHyperAI
vor 7 Tagen

SSE-PT: Sequenzielle Empfehlung mittels Personalisiertem Transformer

{James Sharpnack, Cho-Jui Hsieh, Shuqing Li, Liwei Wu}
SSE-PT: Sequenzielle Empfehlung mittels Personalisiertem Transformer
Abstract

Zeitliche Informationen sind für Empfehlungsprobleme entscheidend, da Nutzerpräferenzen in der realen Welt naturgemäß dynamisch sind. Neuere Fortschritte im Bereich des Deep Learning, insbesondere die Entdeckung verschiedener Aufmerksamkeitsmechanismen sowie moderner Architekturen neben den weit verbreiteten RNN- und CNN-Modellen in der natürlichen Sprachverarbeitung, ermöglichen eine verbesserte Nutzung der zeitlichen Reihenfolge der Artikel, mit denen sich jeder Nutzer auseinandergesetzt hat. Insbesondere erreicht das SASRec-Modell, das von dem populären Transformer-Modell in der natürlichen Sprachverarbeitung inspiriert ist, state-of-the-art-Ergebnisse. Allerdings ist SASRec – wie das ursprüngliche Transformer-Modell – grundsätzlich ein unpersonalisiertes Modell, das keine personalisierten Nutzer-Embeddings enthält. Um diese Beschränkung zu überwinden, schlagen wir ein personalisiertes Transformer-Modell (SSE-PT) vor, das SASRec auf fünf realen Datensätzen um fast 5 % in Bezug auf NDCG@10 übertrifft. Darüber hinaus zeigen Untersuchungen der Interaktionshistorien zufällig ausgewählter Nutzer, dass unser Modell nicht nur interpretierbarer ist, sondern zudem in der Lage ist, sich auf die jüngsten Interaktionsmuster jedes einzelnen Nutzers zu konzentrieren. Zudem kann unser SSE-PT-Modell mit einer geringfügigen Modifikation, das wir SSE-PT++ nennen, extrem lange Sequenzen verarbeiten und die Ranking-Ergebnisse von SASRec bei vergleichbarer Trainingsgeschwindigkeit übertrifft, wodurch ein gutes Gleichgewicht zwischen Leistungsfähigkeit und Geschwindigkeit erreicht wird. Unsere neuartige Anwendung der Stochastic Shared Embeddings (SSE)-Regularisierung ist entscheidend für den Erfolg der Personalisierung. Der Quellcode und die Daten sind unter https://github.com/SSE-PT/SSE-PT öffentlich zugänglich.

SSE-PT: Sequenzielle Empfehlung mittels Personalisiertem Transformer | Neueste Forschungsarbeiten | HyperAI