Einführung von Self-Attention in zielgerichtete Aufmerksamkeits-Graphneuronale Netze

Session-basierte Empfehlungssysteme schlagen Nutzern relevante Artikel vor, indem sie Nutzerverhalten und Präferenzen anhand kurzfristiger, anonymisierter Sitzungen modellieren. Bestehende Ansätze nutzen Graph Neural Networks (GNNs), die Informationen durch lokale Nachrichtenübertragung von benachbarten Knoten propagieren und aggregieren. Solche graphbasierten Architekturen weisen jedoch begrenzte Darstellungsfähigkeiten auf, da ein einzelner Untergraph dazu neigt, die sequenziellen Abhängigkeiten überzufitten, anstatt komplexe Übergänge zwischen Artikeln aus verschiedenen Sitzungen adäquat zu erfassen. Wir stellen eine neue Technik vor, die einen Transformer in Kombination mit einer zielgerichteten, aufmerksamkeitsbasierten GNN nutzt. Dadurch können reichhaltigere Darstellungen gelernt werden, was sich in empirischen Leistungsverbesserungen gegenüber einer herkömmlichen zielgerichteten GNN niederschlägt. Unsere experimentellen Ergebnisse sowie Ablationsstudien zeigen, dass unser vorgeschlagenes Verfahren auf realen Benchmark-Datensätzen mit bestehenden Methoden konkurrieren kann und die herkömmlichen graphbasierten Ansätze übertrifft. Der Quellcode ist unter https://github.com/The-Learning-Machines/SBR verfügbar.