TiM4Rec: Ein effizienter sequenzieller Empfehlungsmodell basierend auf einem zeitbewussten strukturierten Zustandsraum-Dualitätsmodell

Der Paradigmenwechsel im Bereich der sequenziellen Empfehlung erfolgt von der Transformer-Architektur hin zur Mamba-Architektur, die zwei Generationen umfasst: Mamba1, basierend auf dem State Space Model (SSM), und Mamba2, basierend auf dem State Space Duality (SSD). Obwohl SSD im Vergleich zu SSM eine überlegene rechnerische Effizienz bietet, leidet sie unter Leistungsabfall bei sequenziellen Empfehlungsaufgaben, insbesondere in niedrigdimensionalen Szenarien, die für diese Aufgaben von entscheidender Bedeutung sind. Angesichts der Tatsache, dass zeitbewusste Verbesserungsmethoden üblicherweise eingesetzt werden, um den Leistungsverlust zu mildern, zeigt unsere Analyse, dass der Leistungsabfall von SSD prinzipiell ebenso durch die Ausnutzung von Mechanismen aus zeitbewussten Ansätzen kompensiert werden kann. Daher schlagen wir vor, zeitbewusste Eigenschaften in den SSD-Framework integrieren zu lassen, um diese Leistungsprobleme zu adressieren. Die Integration derzeitiger zeitbewusster Methoden, die nach dem Vorbild von TiSASRec entworfen sind, in die SSD-Architektur stößt jedoch auf zwei zentrale Herausforderungen: Erstens die Komplexität der Integration transformerbasierter Mechanismen mit der SSD-Architektur, und zweitens die rechnerische Ineffizienz, die durch die Notwendigkeit einer Dimensionserweiterung bei der Modellierung zeitlicher Differenzen verursacht wird. Um diese Herausforderungen zu überwinden, führen wir eine neuartige zeitbewusste strukturierte Maskenmatrix ein, die zeitbewusste Fähigkeiten effizient in die SSD-Architektur integriert. Auf dieser Grundlage präsentieren wir Time-Aware Mamba for Recommendation (TiM4Rec), das sowohl den Leistungsabfall in niedrigdimensionalen SSD-Kontexten verringert als auch die rechnerische Effizienz bewahrt. Dies markiert die erste Anwendung einer speziell für die Mamba-Architektur konzipierten zeitbewussten Verbesserungsmethode im Bereich der sequenziellen Empfehlung. Umfangreiche Experimente an drei realen Datensätzen belegen die Überlegenheit unseres Ansatzes. Der Quellcode unseres Modells ist unter https://github.com/AlwaysFHao/TiM4Rec verfügbar.