HyperAIHyperAI

Command Palette

Search for a command to run...

AutoInt: Automatisches Lernen von Merkmalsinteraktionen durch selbst-merksamke Neuronale Netze

Weiping Song; Chence Shi; Zhiping Xiao; Zhijian Duan; Yewen Xu; Ming Zhang; Jian Tang

Zusammenfassung

Die Vorhersage des Klickdurchsatzes (Click-through Rate, CTR), die darauf abzielt, die Wahrscheinlichkeit zu prognostizieren, dass ein Benutzer auf eine Anzeige oder ein Element klickt, ist für viele Online-Anwendungen wie Online-Werbung und Empfehlungssysteme von entscheidender Bedeutung. Das Problem ist sehr herausfordernd, da (1) die Eingabeattribute (z.B. Benutzer-ID, Benutzeralter, Element-ID, Elementkategorie) in der Regel dünn besetzt und hochdimensional sind und (2) eine effektive Vorhersage auf hochgradigen kombinatorischen Attributen (\textit{a.k.a.} Kreuzattributen) basiert, die von Fachexperten sehr zeitaufwendig manuell erstellt werden müssen und unmöglich vollständig aufgezählt werden können. Daher wurden Bemühungen unternommen, um niedrigdimensionale Darstellungen der dünn besetzten und hochdimensionalen Rohattribute sowie deren sinnvollen Kombinationen zu finden. In dieser Arbeit schlagen wir eine effektive und effiziente Methode namens \emph{AutoInt} vor, um automatisch die hochgradigen Wechselwirkungen der Eingabeattribute zu lernen. Der vorgeschlagene Algorithmus ist sehr allgemein und kann sowohl auf numerische als auch auf kategoriale Eingabeattribute angewendet werden. Insbesondere kartieren wir sowohl numerische als auch kategoriale Attribute in den gleichen niedrigdimensionalen Raum. Danach wird ein mehrköpfiges Selbst-Aufmerksamkeits-Neuronales Netzwerk mit Residualverbindungen vorgeschlagen, um die Wechselwirkungen der Attribute im niedrigdimensionalen Raum explizit zu modellieren. Mit verschiedenen Schichten des mehrköpfigen Selbst-Aufmerksamkeits-Neuronen-Netzwerks können verschiedene Ordnungen von Attributkombinationen der Eingabeattribute modelliert werden. Das gesamte Modell kann effizient an großen Rohdatensätzen in einem End-to-End-Prozess angepasst werden. Experimentelle Ergebnisse anhand vier realer Datensätze zeigen, dass unser vorgeschlagener Ansatz nicht nur bestehende state-of-the-art Ansätze zur Vorhersage übertrifft, sondern auch gute Erklärbarkeit bietet. Der Quellcode ist unter folgender URL verfügbar: \url{https://github.com/DeepGraphLearning/RecommenderSystems}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AutoInt: Automatisches Lernen von Merkmalsinteraktionen durch selbst-merksamke Neuronale Netze | Paper | HyperAI