Tiefes Lernen über mehrfeldige kategorische Daten: Eine Fallstudie zur Vorhersage der Benutzerreaktion

Die Vorhersage von Nutzerreaktionen, wie Klickrate und Konversionsrate, ist in vielen Webanwendungen, einschließlich Websuche, personalisierter Empfehlungen und Online-Werbung, von entscheidender Bedeutung. Im Gegensatz zu kontinuierlichen Rohmerkmalen, die wir in den Bereichen Bild und Audio häufig finden, sind die Eingabe-Merkmale im Webraum stets mehrfeldig und hauptsächlich diskret und kategorial, während ihre Abhängigkeiten kaum bekannt sind. Die wichtigsten Nutzerreaktionsvorhersagemodelle müssen sich entweder auf lineare Modelle beschränken oder erfordern das manuelle Erstellen hochdimensionaler Merkmalskombinationen. Das erstere verliert die Fähigkeit, Merkmalsinteraktionen zu erforschen, während letzteres zu einem hohen Rechenaufwand im großen Merkmalsraum führt. Um dieses Problem anzugehen, schlagen wir zwei neue Modelle vor, die tiefgreifende neuronale Netze (DNNs) verwenden, um effektive Muster aus kategorischen Merkmalsinteraktionen automatisch zu lernen und Vorhersagen über Nutzerklicks auf Werbeanzeigen zu treffen. Um unsere DNNs effizient arbeiten zu lassen, schlagen wir drei Merkmalstransformationsmethoden vor: Faktorisierungsmaschinen (FMs), eingeschränkte Boltzmann-Maschinen (RBMs) und Rauschunterdrückungs-Autoencoder (DAEs). Dieses Papier stellt die Struktur unserer Modelle sowie ihre effizienten Trainingsalgorithmen vor. Groß angelegte Experimente mit realen Daten zeigen, dass unsere Methoden besser funktionieren als die wichtigsten Stand-of-the-Art-Modelle.