Ein aufmerksamer induktiver Bias für sequenzielle Empfehlungen jenseits der Self-Attention

Sequentielle Empfehlungsmodelle (Sequential Recommendation, SR), die auf Transformers basieren, haben beachtliche Erfolge erzielt. Die Selbst-Attention-Mechanismen von Transformers, die in der Computer Vision und Natural Language Processing eingesetzt werden, leiden unter dem sogenannten Oversmoothing-Problem, bei dem die versteckten Repräsentationen der Tokens zunehmend相似 werden. In der SR-Domäne zeigen wir erstmals, dass dasselbe Problem auftritt. Wir präsentieren wegweisende Untersuchungen, die die Tiefpassfilter-Eigenschaft der Selbst-Attention im Kontext von SR aufdecken, welche gerade das Oversmoothing verursacht. Dazu schlagen wir eine neuartige Methode namens $\textbf{B}$eyond $\textbf{S}$elf-$\textbf{A}$ttention für sequentielle $\textbf{Rec}$ommendation (BSARec) vor, die die Fourier-Transformation nutzt, um i) eine induktive Voreingenommenheit einzubringen, indem feinkörnige sequenzielle Muster berücksichtigt werden, und ii) niedrige und hohe Frequenzinformationen zu integrieren, um das Oversmoothing zu mildern. Unsere Entdeckung stellt einen signifikanten Fortschritt im Bereich der sequentiellen Empfehlung dar und soll die Lücke bei bestehenden Transformer-basierten SR-Modellen schließen. Wir testen unseren Ansatz durch umfangreiche Experimente auf sechs Benchmark-Datensätzen. Die experimentellen Ergebnisse zeigen, dass unser Modell sieben Baseline-Methoden in Bezug auf die Empfehlungsleistung übertrifft. Der Quellcode ist unter https://github.com/yehjin-shin/BSARec verfügbar.