DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving

Die Vorhersage der Klickrate (Click-Through Rate, CTR) ist eine zentrale Aufgabe im Online-Display-Werbegeschäft. Embedding-basierte neuronale Netze wurden vorgeschlagen, um sowohl explizite Merkmalsinteraktionen über eine flache Komponente als auch tiefgreifende Merkmalsinteraktionen mittels einer tiefen neuronalen Netzwerk-(DNN-)Komponente zu lernen. Diese anspruchsvollen Modelle verlangsamen die Vorhersageinferenz jedoch mindestens um das Hundertfache. Um das Problem einer erheblich gestiegenen Servicedelay und hohen Speicherauslastung beim Ad-Serving in Produktionsumgebungen anzugehen, präsentiert dieser Artikel \emph{DeepLight}: ein Framework zur Beschleunigung der CTR-Vorhersagen in drei Aspekten: 1) Beschleunigung der Modellinferenz durch gezielte Suche nach informativen Merkmalsinteraktionen in der flachen Komponente; 2) Reduzierung redundanter Schichten und Parameter auf intra- und inter-schichtiger Ebene innerhalb der DNN-Komponente; 3) Förderung der Sparsamkeit der Embedding-Schicht, um die aussagekräftigsten Signale zu bewahren. Durch die Kombination dieser Maßnahmen beschleunigt der vorgeschlagene Ansatz die Modellinferenz um das 46-fache auf dem Criteo-Datensatz und um das 27-fache auf dem Avazu-Datensatz, ohne dabei die Vorhersagegenauigkeit zu beeinträchtigen. Dies eröffnet den Weg für die erfolgreiche Bereitstellung komplexer, embedding-basierter neuronaler Netze in Produktionsumgebungen für das Ad-Serving.