AutoInt: Automatisches Lernen von Merkmalsinteraktionen durch selbst-merksamke Neuronale Netze

Die Vorhersage des Klickdurchsatzes (Click-through Rate, CTR), die darauf abzielt, die Wahrscheinlichkeit zu prognostizieren, dass ein Benutzer auf eine Anzeige oder ein Element klickt, ist für viele Online-Anwendungen wie Online-Werbung und Empfehlungssysteme von entscheidender Bedeutung. Das Problem ist sehr herausfordernd, da (1) die Eingabeattribute (z.B. Benutzer-ID, Benutzeralter, Element-ID, Elementkategorie) in der Regel dünn besetzt und hochdimensional sind und (2) eine effektive Vorhersage auf hochgradigen kombinatorischen Attributen (\textit{a.k.a.} Kreuzattributen) basiert, die von Fachexperten sehr zeitaufwendig manuell erstellt werden müssen und unmöglich vollständig aufgezählt werden können. Daher wurden Bemühungen unternommen, um niedrigdimensionale Darstellungen der dünn besetzten und hochdimensionalen Rohattribute sowie deren sinnvollen Kombinationen zu finden. In dieser Arbeit schlagen wir eine effektive und effiziente Methode namens \emph{AutoInt} vor, um automatisch die hochgradigen Wechselwirkungen der Eingabeattribute zu lernen. Der vorgeschlagene Algorithmus ist sehr allgemein und kann sowohl auf numerische als auch auf kategoriale Eingabeattribute angewendet werden. Insbesondere kartieren wir sowohl numerische als auch kategoriale Attribute in den gleichen niedrigdimensionalen Raum. Danach wird ein mehrköpfiges Selbst-Aufmerksamkeits-Neuronales Netzwerk mit Residualverbindungen vorgeschlagen, um die Wechselwirkungen der Attribute im niedrigdimensionalen Raum explizit zu modellieren. Mit verschiedenen Schichten des mehrköpfigen Selbst-Aufmerksamkeits-Neuronen-Netzwerks können verschiedene Ordnungen von Attributkombinationen der Eingabeattribute modelliert werden. Das gesamte Modell kann effizient an großen Rohdatensätzen in einem End-to-End-Prozess angepasst werden. Experimentelle Ergebnisse anhand vier realer Datensätze zeigen, dass unser vorgeschlagener Ansatz nicht nur bestehende state-of-the-art Ansätze zur Vorhersage übertrifft, sondern auch gute Erklärbarkeit bietet. Der Quellcode ist unter folgender URL verfügbar: \url{https://github.com/DeepGraphLearning/RecommenderSystems}.