FinalMLP: Ein verbessertes Zweistrom-MLP-Modell für die CTR-Vorhersage

Die Vorhersage der Klickrate (Click-Through Rate, CTR) ist eine zentrale Aufgabe im Bereich des Online-Werbens und der Empfehlungssysteme. Obwohl der mehrschichtige Perzeptron (Multi-Layer Perceptron, MLP) als zentraler Baustein vieler tiefer CTR-Vorhersagemodelle dient, ist allgemein anerkannt, dass ein herkömmlicher MLP allein ineffizient bei der Lernung multiplikativer Merkmalsinteraktionen ist. Daher wurden zahlreiche Zwei-Stream-Interaktionsmodelle (z. B. DeepFM und DCN) vorgeschlagen, die einen MLP mit einem zusätzlichen spezialisierten Netzwerk kombinieren, um die CTR-Vorhersage zu verbessern. Da der MLP-Stream Merkmalsinteraktionen implizit erlernt, konzentriert sich die bestehende Forschung hauptsächlich auf die Verbesserung expliziter Merkmalsinteraktionen im ergänzenden Stream. Im Gegensatz dazu zeigt unsere empirische Studie, dass ein gut abgestimmtes Zwei-Stream-MLP-Modell, das lediglich zwei MLPs einfach kombiniert, überraschend gute Leistung erzielen kann – eine Beobachtung, die bislang in der Literatur nicht dokumentiert wurde. Auf Basis dieser Erkenntnis schlagen wir Feature-Gating- und Interaktionsaggregations-Schichten vor, die nahtlos in ein verbessertes Zwei-Stream-MLP-Modell integriert werden können, das wir FinalMLP nennen. Dadurch wird nicht nur eine differenzierte Eingabe von Merkmalen ermöglicht, sondern auch eine effektive Fusions von Interaktionen auf Stream-Ebene zwischen den beiden Strömen erreicht. Unsere Evaluierung an vier öffentlichen Benchmark-Datensätzen sowie ein Online-A/B-Test in unserem industriellen System zeigen, dass FinalMLP eine bessere Leistung erzielt als viele anspruchsvolle Zwei-Stream-CTR-Modelle. Der Quellcode wird in Kürze unter MindSpore/models verfügbar sein.