Produktbasierte Neuronale Netze zur Vorhersage der Nutzerreaktion

Die Vorhersage von Nutzerreaktionen, wie Klicks und Konversionen, ist von großer Bedeutung und findet Anwendung in vielen Web-Anwendungen, darunter Empfehlungssysteme, Web-Suche und Online-Werbung. Die Daten in diesen Anwendungen sind größtenteils kategorial und enthalten mehrere Felder; eine typische Darstellung besteht darin, sie durch One-Hot-Encoding in eine hochdimensionale, dünn besetzte binäre Merkmalsrepräsentation zu transformieren. Angesichts der extremen Dünnbesetzung können traditionelle Modelle ihre Fähigkeit zur Auswertung flacher Muster aus den Daten – also niedriger Ordnungen von Merkmalskombinationen – begrenzt sein. Tiefenschlüssige Modelle wie tiefe Neuronale Netze können aufgrund des riesigen Merkmalsraums nicht direkt auf hochdimensionale Eingaben angewendet werden. In dieser Arbeit schlagen wir ein produktsbasiertes neuronales Netz (Product-based Neural Networks, PNN) vor, das eine Einbettungsebene (Embedding Layer) enthält, um eine verteilte Repräsentation der kategorialen Daten zu lernen, eine Produkt-Ebene (Product Layer), um interaktive Muster zwischen Kategorien verschiedener Felder zu erfassen, sowie weitere vollständig verbundene Schichten (Fully Connected Layers), um hochrangige Merkmalsinteraktionen zu erkunden. Unsere experimentellen Ergebnisse anhand zweier groß angelegter realweltlicher Datensätze für Werbeklicks zeigen, dass PNNs bei verschiedenen Metriken stets bessere Leistungen als die bislang besten Modelle erzielen.