FCN: Fusions von exponentiellen und linearen Kreuznetzwerken zur Klick-Through-Rate-Vorhersage

Als ein bedeutender Modellierungsansatz im Bereich der Klick-Through-Rate (CTR)-Vorhersage haben das Deep & Cross Network (DCN) und seine abgeleiteten Modelle aufgrund ihres Erfolgs bei der Balance zwischen Rechenaufwand und Leistung weite Anerkennung gefunden. Dieser Ansatz nutzt ein Cross-Netzwerk, um Merkmalsinteraktionen explizit mit linearer Wachstumsrate zu modellieren, während tiefen neuronalen Netzen (DNN) die implizite Erfassung höherer Ordnung von Merkmalsinteraktionen überlassen wird. Dennoch sind diese Modelle weiterhin mit mehreren zentralen Einschränkungen konfrontiert: (1) Die Leistung bestehender Methoden zur expliziten Modellierung von Merkmalsinteraktionen bleibt hinter der von impliziten DNN zurück, wodurch die Gesamtleistung des Modells letztlich von der DNN-Komponente dominiert wird; (2) Obwohl diese Modelle behaupten, Interaktionen höherer Ordnung erfassen zu können, vernachlässigen sie oft potenzielle Rauschkomponenten innerhalb dieser Interaktionen; (3) Der Lernprozess verschiedener Zweignetzwerke für Interaktionen erfolgt ohne angemessene Überwachungssignale; und (4) Die von diesen Modellen erfassten Interaktionen höherer Ordnung sind oft implizit und nicht interpretierbar, da sie stark auf DNN basieren.Um diese identifizierten Limitationen zu überwinden, schlagen wir in diesem Artikel ein neuartiges Modell namens Fusing Cross Network (FCN) vor, zusammen mit zwei Unter-Netzwerken: Linear Cross Network (LCN) und Exponential Cross Network (ECN). FCN erfasst Merkmalsinteraktionen explizit sowohl mit linearer als auch mit exponentieller Wachstumsrate und verzichtet damit auf die Abhängigkeit von impliziten DNN. Zudem führen wir die Self-Mask-Operation ein, um Rauschen schichtweise zu filtern und die Anzahl der Parameter im Cross-Netzwerk um die Hälfte zu reduzieren. Um die effektive Trainierung dieser beiden Cross-Netzwerke zu ermöglichen, stellen wir eine einfache, jedoch wirksame Verlustfunktion namens Tri-BCE vor, die jeweils maßgeschneiderte Überwachungssignale für jedes Netzwerk bereitstellt. Wir evaluieren die Wirksamkeit, Effizienz und Interpretierbarkeit von FCN an sechs Benchmark-Datensätzen. Darüber hinaus erreicht FCN durch die Integration von LCN und ECN eine neue State-of-the-Art-Leistung.