HyperAIHyperAI

Command Palette

Search for a command to run...

Korrektes Normalisieren zählt: Verständnis der Wirkung von Normalisierung auf tiefe neuronale Netzwerkmodelle zur Klick-Through-Rate-Vorhersage

Zhiqiang Wang Qingyun She PengTao Zhang Junlin Zhang

Zusammenfassung

Normierung ist zu einer der grundlegendsten Komponenten vieler tiefer neuronaler Netze für maschinelles Lernen geworden, während tiefe neuronale Netze auch weitgehend im Bereich der Klick-Rate-Schätzung (CTR-Schätzung) eingesetzt werden. Unter den meisten vorgeschlagenen tiefen neuronalen Netzmodellen nutzen nur wenige Ansätze Normierungsverfahren. Obwohl einige Arbeiten wie das Deep & Cross Network (DCN) und der Neural Factorization Machine (NFM) Batch-Normalisierung im MLP-Teil der Architektur verwenden, existiert bisher kein Ansatz, der die Auswirkungen der Normierung auf DNN-basierte Rangsysteme umfassend untersucht. In dieser Arbeit führen wir eine systematische Studie zur Wirkung gängiger Normierungsansätze durch, indem wir verschiedene Normierungsverfahren sowohl auf die Merkmals-Embedding- als auch auf den MLP-Teil des DNN-Modells anwenden. Umfangreiche Experimente wurden auf drei realen Datensätzen durchgeführt, und die Ergebnisse zeigen eindeutig, dass die korrekte Anwendung von Normierung die Leistung des Modells erheblich verbessert. Darüber hinaus stellen wir in dieser Arbeit einen neuen und effektiven Normierungsansatz vor, der auf LayerNorm basiert und als variance-only LayerNorm (VO-LN) bezeichnet wird. Auf Basis dieser Erkenntnisse wird ein normierungsoptimiertes DNN-Modell namens NormDNN vorgeschlagen. Zur Erklärung der Wirkungsweise der Normierung in DNN-Modellen für die CTR-Schätzung identifizieren wir, dass die Varianz der Normierung die entscheidende Rolle spielt, und geben eine fundierte Erklärung dafür in dieser Arbeit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp