HyperAIHyperAI

Command Palette

Search for a command to run...

DCN V2: Verbesserter Deep & Cross Network und praktische Erkenntnisse für Web-scale Learning-to-Rank-Systeme

Ruoxi Wang Rakesh Shivanna Derek Z. Cheng Sagar Jain Dong Lin Lichan Hong Ed H. Chi

Zusammenfassung

Das Erlernen effektiver Merkmalskreuzungen ist der Schlüssel für die Entwicklung von Empfehlungssystemen. Allerdings erfordert der spärliche und hochdimensionale Merkmalsraum eine umfassende Suche, um wirksame Kreuzungen zu identifizieren. Der Deep & Cross Network (DCN) wurde vorgeschlagen, um beschränkte Grad-Prädiktionsmerkmalsinteraktionen automatisch und effizient zu lernen. Leider zeigte DCN bei Modellen, die Web-Skala-Verkehr mit Milliarden von Trainingsbeispielen verarbeiten, aufgrund seiner begrenzten Ausdruckskraft im Cross-Netzwerk eine geringe Fähigkeit, prädiktive Merkmalsinteraktionen zu erfassen. Trotz erheblicher Forschungsfortschritte basieren viele in der Produktion eingesetzte tiefe Lernmodelle weiterhin auf traditionellen Feed-Forward-Neuralen Netzen, um Merkmalskreuzungen ineffizient zu lernen.Angesichts der Vor- und Nachteile von DCN und bestehender Ansätze zur Merkmalsinteraktionslernen präsentieren wir einen verbesserten Framework namens DCN-V2, um DCN praktikabler in großskaligen industriellen Anwendungen zu machen. In einer umfassenden experimentellen Studie mit umfangreicher Hyperparameter-Suche und Modellabstimmung zeigten wir, dass DCN-V2 alle aktuellen State-of-the-Art-Algorithmen auf etablierten Benchmark-Datensätzen übertrifft. Das verbesserte DCN-V2 ist ausdrucksstärker und bleibt gleichzeitig kosten-effizient beim Lernen von Merkmalsinteraktionen, insbesondere wenn es mit einer Mischung aus Niedrigrang-Architekturen kombiniert wird. DCN-V2 ist einfach zu implementieren, kann leicht als Bausteine integriert werden und hat bei zahlreichen Web-Skala-Learning-to-Rank-Systemen bei Google erhebliche Verbesserungen sowohl in der Offline-Genauigkeit als auch in den Online-Geschäfts-Kennzahlen erbracht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp