Neuronale Faktorisierungsmaschinen für dünnbesetzte prädiktive Analyse

Viele Vorhersageaufgaben von Webanwendungen erfordern das Modellieren kategorialer Variablen, wie zum Beispiel Benutzer-IDs und demografische Merkmale wie Geschlecht und Beruf. Um Standard-Maschinelles-Lernen-Verfahren anzuwenden, werden diese kategorialen Prädiktoren stets durch One-Hot-Encoding in eine Reihe binärer Merkmale umgewandelt, was den resultierenden Merkmalsvektor stark dünn besetzt macht. Um aus solchen dünn besetzten Daten effektiv zu lernen, ist es entscheidend, die Wechselwirkungen zwischen den Merkmalen zu berücksichtigen.Faktorisierungsmaschinen (FMs) sind eine weit verbreitete Lösung zur effizienten Nutzung von zweiter Ordnung Merkmalswechselwirkungen. Allerdings modellieren FM die Merkmalswechselwirkungen auf lineare Weise, was für die Erfassung der nichtlinearen und komplexen intrinsischen Struktur realer Daten oft unzureichend ist. Obwohl tiefgreifende Neuronale Netze in der Industrie neuerdings angewendet wurden, um nichtlineare Merkmalswechselwirkungen zu lernen, wie zum Beispiel Wide&Deep von Google und DeepCross von Microsoft, führt die tiefe Struktur gleichzeitig dazu, dass sie schwieriger zu trainieren sind.In dieser Arbeit schlagen wir ein neues Modell vor: die neurale Faktorisierungsmaschine (NFM), die Vorhersagen bei dünn besetzten Einstellungen ermöglicht. Die NFM verbindet nahtlos die Linearität der FM beim Modellieren von zweiter Ordnung Merkmalswechselwirkungen mit der Nichtlinearität des neuronalen Netzes beim Modellieren höherer Ordnung Merkmalswechselwirkungen. Konzeptuell ist die NFM expressiver als die FM, da FM als ein Spezialfall der NFM ohne versteckte Schichten betrachtet werden kann. Empirische Ergebnisse anhand zweier Regressionsaufgaben zeigen, dass NFM bereits mit einer einzigen versteckten Schicht erheblich besser abschneidet als FM, wobei sich eine relative Verbesserung von 7,3 % ergibt. Im Vergleich zu den jüngsten Deep-Learning-Methoden Wide&Deep und DeepCross bietet unsere NFM eine flachere Struktur, aber bessere Leistung und ist in der Praxis viel einfacher zu trainieren und einzustellen.