HyperAIHyperAI

Command Palette

Search for a command to run...

Ein aufmerksamer induktiver Bias für sequenzielle Empfehlungen jenseits der Self-Attention

Yehjin Shin Jeongwhan Choi Hyowon Wi Noseong Park

Zusammenfassung

Sequentielle Empfehlungsmodelle (Sequential Recommendation, SR), die auf Transformers basieren, haben beachtliche Erfolge erzielt. Die Selbst-Attention-Mechanismen von Transformers, die in der Computer Vision und Natural Language Processing eingesetzt werden, leiden unter dem sogenannten Oversmoothing-Problem, bei dem die versteckten Repräsentationen der Tokens zunehmend相似 werden. In der SR-Domäne zeigen wir erstmals, dass dasselbe Problem auftritt. Wir präsentieren wegweisende Untersuchungen, die die Tiefpassfilter-Eigenschaft der Selbst-Attention im Kontext von SR aufdecken, welche gerade das Oversmoothing verursacht. Dazu schlagen wir eine neuartige Methode namens B\textbf{B}Beyond S\textbf{S}Self-A\textbf{A}Attention für sequentielle Rec\textbf{Rec}Recommendation (BSARec) vor, die die Fourier-Transformation nutzt, um i) eine induktive Voreingenommenheit einzubringen, indem feinkörnige sequenzielle Muster berücksichtigt werden, und ii) niedrige und hohe Frequenzinformationen zu integrieren, um das Oversmoothing zu mildern. Unsere Entdeckung stellt einen signifikanten Fortschritt im Bereich der sequentiellen Empfehlung dar und soll die Lücke bei bestehenden Transformer-basierten SR-Modellen schließen. Wir testen unseren Ansatz durch umfangreiche Experimente auf sechs Benchmark-Datensätzen. Die experimentellen Ergebnisse zeigen, dass unser Modell sieben Baseline-Methoden in Bezug auf die Empfehlungsleistung übertrifft. Der Quellcode ist unter https://github.com/yehjin-shin/BSARec verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein aufmerksamer induktiver Bias für sequenzielle Empfehlungen jenseits der Self-Attention | Paper | HyperAI