HyperAIHyperAI

Command Palette

Search for a command to run...

TiM4Rec: Ein effizienter sequenzieller Empfehlungsmodell basierend auf einem zeitbewussten strukturierten Zustandsraum-Dualitätsmodell

Hao Fan Mengyi Zhu Yanrong Hu Hailin Feng Zhijie He Hongjiu Liu Qingyang Liu

Zusammenfassung

Der Paradigmenwechsel im Bereich der sequenziellen Empfehlung erfolgt von der Transformer-Architektur hin zur Mamba-Architektur, die zwei Generationen umfasst: Mamba1, basierend auf dem State Space Model (SSM), und Mamba2, basierend auf dem State Space Duality (SSD). Obwohl SSD im Vergleich zu SSM eine überlegene rechnerische Effizienz bietet, leidet sie unter Leistungsabfall bei sequenziellen Empfehlungsaufgaben, insbesondere in niedrigdimensionalen Szenarien, die für diese Aufgaben von entscheidender Bedeutung sind. Angesichts der Tatsache, dass zeitbewusste Verbesserungsmethoden üblicherweise eingesetzt werden, um den Leistungsverlust zu mildern, zeigt unsere Analyse, dass der Leistungsabfall von SSD prinzipiell ebenso durch die Ausnutzung von Mechanismen aus zeitbewussten Ansätzen kompensiert werden kann. Daher schlagen wir vor, zeitbewusste Eigenschaften in den SSD-Framework integrieren zu lassen, um diese Leistungsprobleme zu adressieren. Die Integration derzeitiger zeitbewusster Methoden, die nach dem Vorbild von TiSASRec entworfen sind, in die SSD-Architektur stößt jedoch auf zwei zentrale Herausforderungen: Erstens die Komplexität der Integration transformerbasierter Mechanismen mit der SSD-Architektur, und zweitens die rechnerische Ineffizienz, die durch die Notwendigkeit einer Dimensionserweiterung bei der Modellierung zeitlicher Differenzen verursacht wird. Um diese Herausforderungen zu überwinden, führen wir eine neuartige zeitbewusste strukturierte Maskenmatrix ein, die zeitbewusste Fähigkeiten effizient in die SSD-Architektur integriert. Auf dieser Grundlage präsentieren wir Time-Aware Mamba for Recommendation (TiM4Rec), das sowohl den Leistungsabfall in niedrigdimensionalen SSD-Kontexten verringert als auch die rechnerische Effizienz bewahrt. Dies markiert die erste Anwendung einer speziell für die Mamba-Architektur konzipierten zeitbewussten Verbesserungsmethode im Bereich der sequenziellen Empfehlung. Umfangreiche Experimente an drei realen Datensätzen belegen die Überlegenheit unseres Ansatzes. Der Quellcode unseres Modells ist unter https://github.com/AlwaysFHao/TiM4Rec verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp