Deep Interaction Machine: Ein einfaches aber effektives Modell für hochordnungige Merkmalsinteraktionen

Die Vorhersage der Klickrate (Click-Through Rate, CTR) ist eine entscheidende Aufgabe für diverse Online-Anwendungen wie Empfehlungssysteme und Online-Werbung. Dabei geht es darum, die Wahrscheinlichkeit für das Klicken von Nutzern auf bestimmte Inhalte basierend auf hochdimensionalen Eingabefeatures vorherzusagen. Um aufwendige manuelle Merkmalsingenieurarbeit zu vermeiden, liegt der Fokus der CTR-Vorhersage auf der automatischen Modellierung von Merkmalsinteraktionen. Der Faktorisierte Maschinen (Factorization Machine, FM) ist eine effektive Methode zur Modellierung zweiter Ordnung von Merkmalsinteraktionen. In jüngster Zeit wurden FM-Modelle erweitert, um auch Interaktionen höherer Ordnung zu erfassen, beispielsweise durch xDeepFM und die Higher-Order Factorization Machine (HOFM). Diese Ansätze weisen jedoch entweder eine hohe Komplexität oder iterative Berechnungen auf, die viel Zeit und Speicherplatz erfordern. Um diese Probleme zu überwinden, formulieren wir beliebige Ordnungen von FM mittels Potenzsummen gemäß den Newtonschen Identitäten. Daraus leiten wir ein neuartiges Interaktionsmodell, die Interaction Machine (IM), ab. IM ist eine effiziente und exakte Implementierung von Interaktionen höherer Ordnung, deren Zeitkomplexität linear mit der Ordnung der Interaktionen und der Anzahl der Merkmalsfelder wächst. Mit IM lässt sich die Modellierung beliebiger Ordnungen von Merkmalsinteraktionen äußerst einfach realisieren. Darüber hinaus kombinieren wir IM mit tiefen neuronalen Netzen und erhalten das DeepIM-Modell, das effizienter ist als xDeepFM und gleichwertige oder sogar bessere Leistung erzielt. Wir führen Experimente auf zwei realen Datensätzen durch, in denen die Effektivität und Effizienz sowohl von IM als auch von DeepIM eindeutig bestätigt werden.