MaskNet: Einführung der feature-weisen Multiplikation in CTR-Ranking-Modelle mittels instanzgesteuerter Maske

Die Schätzung der Klickrate (Click-Through Rate, CTR) ist zu einer der grundlegendsten Aufgaben in vielen realweltlichen Anwendungen geworden, und es ist entscheidend, dass Ranking-Modelle komplexe, hochordnungsbasierte Merkmalsinteraktionen effektiv erfassen können. Flache Feed-Forward-Netze werden in vielen modernen tiefen neuronalen Netzwerken (DNN), wie beispielsweise FNN, DeepFM und xDeepFM, weit verbreitet eingesetzt, um Merkmalsinteraktionen implizit zu erfassen. Allerdings hat sich gezeigt, dass additive Merkmalsinteraktionen, insbesondere in Form von Feed-Forward-Netzen, ineffizient bei der Erfassung häufiger Merkmalsinteraktionen sind. Um dieses Problem zu lösen, führen wir eine spezifische multiplikative Operation in das DNN-Ranking-System ein, indem wir ein instanzgeleitetes Masking-Verfahren vorschlagen, das elementweise Produkte sowohl auf den Merkmals-Embeddings als auch auf den Feed-Forward-Schichten unter Anleitung der Eingabedaten durchführt. Zudem wandeln wir die Feed-Forward-Schicht in unserem DNN-Modell in eine Mischung aus additiven und multiplikativen Merkmalsinteraktionen um, indem wir in diesem Artikel den MaskBlock einführen. Der MaskBlock kombiniert Layer-Normalisierung, instanzgeleitetes Masking und Feed-Forward-Schicht und stellt ein grundlegendes Bauelement dar, das für die Gestaltung neuer Ranking-Modelle unter verschiedenen Konfigurationen genutzt werden kann. Das durch MaskBlock-Blöcke aufgebaute Modell wird in diesem Artikel als MaskNet bezeichnet. Zwei neue MaskNet-Modelle werden vorgestellt, um die Wirksamkeit des MaskBlock als grundlegendes Bauelement für die Konstruktion leistungsstarker Ranking-Systeme zu demonstrieren. Experimente auf drei realen Datensätzen zeigen, dass unsere vorgeschlagenen MaskNet-Modelle state-of-the-art-Modelle wie DeepFM und xDeepFM deutlich überlegen sind, was darauf hindeutet, dass der MaskBlock eine effektive grundlegende Einheit für die Entwicklung neuer, leistungsfähiger Ranking-Systeme darstellt.