Korrektes Normalisieren zählt: Verständnis der Wirkung von Normalisierung auf tiefe neuronale Netzwerkmodelle zur Klick-Through-Rate-Vorhersage

Normierung ist zu einer der grundlegendsten Komponenten vieler tiefer neuronaler Netze für maschinelles Lernen geworden, während tiefe neuronale Netze auch weitgehend im Bereich der Klick-Rate-Schätzung (CTR-Schätzung) eingesetzt werden. Unter den meisten vorgeschlagenen tiefen neuronalen Netzmodellen nutzen nur wenige Ansätze Normierungsverfahren. Obwohl einige Arbeiten wie das Deep & Cross Network (DCN) und der Neural Factorization Machine (NFM) Batch-Normalisierung im MLP-Teil der Architektur verwenden, existiert bisher kein Ansatz, der die Auswirkungen der Normierung auf DNN-basierte Rangsysteme umfassend untersucht. In dieser Arbeit führen wir eine systematische Studie zur Wirkung gängiger Normierungsansätze durch, indem wir verschiedene Normierungsverfahren sowohl auf die Merkmals-Embedding- als auch auf den MLP-Teil des DNN-Modells anwenden. Umfangreiche Experimente wurden auf drei realen Datensätzen durchgeführt, und die Ergebnisse zeigen eindeutig, dass die korrekte Anwendung von Normierung die Leistung des Modells erheblich verbessert. Darüber hinaus stellen wir in dieser Arbeit einen neuen und effektiven Normierungsansatz vor, der auf LayerNorm basiert und als variance-only LayerNorm (VO-LN) bezeichnet wird. Auf Basis dieser Erkenntnisse wird ein normierungsoptimiertes DNN-Modell namens NormDNN vorgeschlagen. Zur Erklärung der Wirkungsweise der Normierung in DNN-Modellen für die CTR-Schätzung identifizieren wir, dass die Varianz der Normierung die entscheidende Rolle spielt, und geben eine fundierte Erklärung dafür in dieser Arbeit.