Tiefes Interessennetzwerk für die Vorhersage von Klickraten

Die Vorhersage der Klickrate ist eine wesentliche Aufgabe in industriellen Anwendungen wie Online-Werbung. Kürzlich wurden tiefen Lernmodellen vorgeschlagen, die einem ähnlichen Paradigma von Einbettung und mehrschichtigem Perzeptron (Embedding\&MLP) folgen. In diesen Methoden werden groß dimensionale, dünn besetzte Eingabe-Features zunächst in niedrig dimensionale Einbettungsvektoren abgebildet und dann gruppenweise in Vektoren fester Länge transformiert, bevor sie zusammengefügt werden, um in ein mehrschichtiges Perzeptron (MLP) eingespeist zu werden, das die nichtlinearen Beziehungen zwischen den Features lernt. Auf diese Weise werden Benutzerfeatures in einen Vektor fester Länge komprimiert, unabhängig von den kandidierenden Werbeanzeigen. Die Verwendung eines Vektors fester Länge stellt jedoch eine Engstelle dar, die es für Embedding\&MLP-Methoden schwierig macht, die vielfältigen Interessen der Benutzer effektiv aus reichhaltigen historischen Verhaltensdaten zu erfassen.In dieser Arbeit schlagen wir ein neues Modell vor: Das Deep Interest Network (DIN), das diese Herausforderung durch die Konzeption einer lokalen Aktivierungseinheit bewältigt. Diese Einheit lernt anpassungsfähig die Darstellung der Benutzerinteressen aus historischem Verhalten im Hinblick auf eine bestimmte Werbung. Der Darstellungsvektor variiert je nach Werbung, was die Ausdrucksfähigkeit des Modells erheblich verbessert. Zudem entwickeln wir zwei Techniken: Mini-Batch-bewusste Regularisierung und datenadaptive Aktivierungsfunktionen, die bei der Schulung von industriellen tiefen Netzen mit Hunderten Millionen Parametern helfen können.Experimente mit zwei öffentlichen Datensätzen sowie einem echten Produktionsdatensatz von Alibaba mit über 2 Milliarden Stichproben zeigen die Effektivität der vorgeschlagenen Ansätze. Diese erreichen eine überlegene Leistung im Vergleich zu den bislang besten Methoden. DIN wird nun erfolgreich im Online-Display-Werbungssystem von Alibaba implementiert und dient dem Hauptverkehrsaufkommen.