HyperAIHyperAI

Command Palette

Search for a command to run...

DCN V2 : Réseau profond et croisé amélioré et enseignements pratiques pour les systèmes d’apprentissage par renforcement à grande échelle sur le web

Ruoxi Wang Rakesh Shivanna Derek Z. Cheng Sagar Jain Dong Lin Lichan Hong Ed H. Chi

Résumé

L’apprentissage d’interactions efficaces entre caractéristiques (feature crosses) constitue la pierre angulaire du développement des systèmes de recommandation. Toutefois, l’espace de caractéristiques dense et très étendu exige une recherche exhaustive pour identifier des interactions pertinentes. Le modèle Deep & Cross Network (DCN) a été proposé afin d’apprendre automatiquement et efficacement des interactions prédictives de degré borné. Malheureusement, dans les modèles déployés à grande échelle, traitant des milliards d’exemples d’entraînement, le réseau de croisement de DCN se révèle limité en expressivité pour capturer des interactions plus prédictives. Malgré les progrès significatifs réalisés dans ce domaine, de nombreux modèles d’apprentissage profond en production continuent de s’appuyer sur des réseaux de neurones feed-forward traditionnels, qui apprennent les interactions entre caractéristiques de manière inefficace.À la lumière des avantages et des limites de DCN ainsi que des approches existantes pour l’apprentissage des interactions entre caractéristiques, nous proposons un cadre amélioré, DCN-V2, afin de rendre DCN plus adapté aux environnements industriels à grande échelle. Dans une étude expérimentale exhaustive incluant une large recherche sur les hyperparamètres et un affinement minutieux des modèles, nous avons observé que DCN-V2 surpassait tous les algorithmes de pointe sur des jeux de données standards. Le modèle amélioré DCN-V2 offre une expressivité accrue tout en restant économiquement efficace dans l’apprentissage des interactions entre caractéristiques, particulièrement lorsqu’il est combiné à une architecture à faible rang (low-rank). DCN-V2 est simple à implémenter, peut facilement servir de blocs de construction, et a permis d’obtenir des gains significatifs en précision hors ligne ainsi qu’en métriques métier en ligne dans de nombreux systèmes de classement basés sur l’apprentissage à grande échelle chez Google.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DCN V2 : Réseau profond et croisé amélioré et enseignements pratiques pour les systèmes d’apprentissage par renforcement à grande échelle sur le web | Articles | HyperAI