MMBAttn: Max-Mean- und Bit-weise Aufmerksamkeit für die CTR-Vorhersage

Mit der zunehmenden Komplexität und Skalierung von Click-Through-Rate (CTR)-Prädiktionsaufgaben in Online-Werbung und Empfehlungssystemen ist die präzise Schätzung der Bedeutung von Merkmalen zu einem entscheidenden Aspekt für die Entwicklung wirksamer Modelle geworden. In diesem Artikel stellen wir einen auf Aufmerksamkeit basierenden Ansatz vor, der Max- und Mean-Pooling-Operationen sowie eine bitweise Aufmerksamkeitsmechanik nutzt, um die Schätzung der Merkmalsbedeutung in CTR-Prädiktionen zu verbessern. Traditionell werden Pooling-Operationen wie Max- und Mean-Pooling weithin eingesetzt, um relevante Informationen aus Merkmalen zu extrahieren. Diese Verfahren können jedoch zu Informationsverlust führen und die präzise Bestimmung der Merkmalsbedeutung erschweren. Um dieses Problem anzugehen, schlagen wir eine neuartige Aufmerksamkeitsarchitektur vor, die eine bitbasierte Aufmerksamkeitsstruktur nutzt, die die Beziehungen zwischen allen Bits innerhalb von Merkmalen betont, zusammen mit Max- und Mean-Pooling. Durch die Berücksichtigung fein abgestimmter Interaktionen auf Bit-Ebene zielt unsere Methode darauf ab, komplexe Muster und Abhängigkeiten zu erfassen, die durch herkömmliche Pooling-Operationen möglicherweise übersehen werden. Um die Wirksamkeit des vorgeschlagenen Ansatzes zu überprüfen, wurden Experimente an drei öffentlichen Datensätzen durchgeführt. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz die Leistung der Basismodelle signifikant verbessert und state-of-the-art-Ergebnisse erzielt.