DCN V2: Verbesserter Deep & Cross Network und praktische Erkenntnisse für Web-scale Learning-to-Rank-Systeme

Das Erlernen effektiver Merkmalskreuzungen ist der Schlüssel für die Entwicklung von Empfehlungssystemen. Allerdings erfordert der spärliche und hochdimensionale Merkmalsraum eine umfassende Suche, um wirksame Kreuzungen zu identifizieren. Der Deep & Cross Network (DCN) wurde vorgeschlagen, um beschränkte Grad-Prädiktionsmerkmalsinteraktionen automatisch und effizient zu lernen. Leider zeigte DCN bei Modellen, die Web-Skala-Verkehr mit Milliarden von Trainingsbeispielen verarbeiten, aufgrund seiner begrenzten Ausdruckskraft im Cross-Netzwerk eine geringe Fähigkeit, prädiktive Merkmalsinteraktionen zu erfassen. Trotz erheblicher Forschungsfortschritte basieren viele in der Produktion eingesetzte tiefe Lernmodelle weiterhin auf traditionellen Feed-Forward-Neuralen Netzen, um Merkmalskreuzungen ineffizient zu lernen.Angesichts der Vor- und Nachteile von DCN und bestehender Ansätze zur Merkmalsinteraktionslernen präsentieren wir einen verbesserten Framework namens DCN-V2, um DCN praktikabler in großskaligen industriellen Anwendungen zu machen. In einer umfassenden experimentellen Studie mit umfangreicher Hyperparameter-Suche und Modellabstimmung zeigten wir, dass DCN-V2 alle aktuellen State-of-the-Art-Algorithmen auf etablierten Benchmark-Datensätzen übertrifft. Das verbesserte DCN-V2 ist ausdrucksstärker und bleibt gleichzeitig kosten-effizient beim Lernen von Merkmalsinteraktionen, insbesondere wenn es mit einer Mischung aus Niedrigrang-Architekturen kombiniert wird. DCN-V2 ist einfach zu implementieren, kann leicht als Bausteine integriert werden und hat bei zahlreichen Web-Skala-Learning-to-Rank-Systemen bei Google erhebliche Verbesserungen sowohl in der Offline-Genauigkeit als auch in den Online-Geschäfts-Kennzahlen erbracht.