HyperAIHyperAI

Command Palette

Search for a command to run...

MMBAttn: Max-Mean- und Bit-weise Aufmerksamkeit für die CTR-Vorhersage

Hasan Saribas Cagri Yesil Serdarcan Dilbaz Halit Orenbas

Zusammenfassung

Mit der zunehmenden Komplexität und Skalierung von Click-Through-Rate (CTR)-Prädiktionsaufgaben in Online-Werbung und Empfehlungssystemen ist die präzise Schätzung der Bedeutung von Merkmalen zu einem entscheidenden Aspekt für die Entwicklung wirksamer Modelle geworden. In diesem Artikel stellen wir einen auf Aufmerksamkeit basierenden Ansatz vor, der Max- und Mean-Pooling-Operationen sowie eine bitweise Aufmerksamkeitsmechanik nutzt, um die Schätzung der Merkmalsbedeutung in CTR-Prädiktionen zu verbessern. Traditionell werden Pooling-Operationen wie Max- und Mean-Pooling weithin eingesetzt, um relevante Informationen aus Merkmalen zu extrahieren. Diese Verfahren können jedoch zu Informationsverlust führen und die präzise Bestimmung der Merkmalsbedeutung erschweren. Um dieses Problem anzugehen, schlagen wir eine neuartige Aufmerksamkeitsarchitektur vor, die eine bitbasierte Aufmerksamkeitsstruktur nutzt, die die Beziehungen zwischen allen Bits innerhalb von Merkmalen betont, zusammen mit Max- und Mean-Pooling. Durch die Berücksichtigung fein abgestimmter Interaktionen auf Bit-Ebene zielt unsere Methode darauf ab, komplexe Muster und Abhängigkeiten zu erfassen, die durch herkömmliche Pooling-Operationen möglicherweise übersehen werden. Um die Wirksamkeit des vorgeschlagenen Ansatzes zu überprüfen, wurden Experimente an drei öffentlichen Datensätzen durchgeführt. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz die Leistung der Basismodelle signifikant verbessert und state-of-the-art-Ergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp