DCN V2 : Réseau profond et croisé amélioré et enseignements pratiques pour les systèmes d’apprentissage par renforcement à grande échelle sur le web
L’apprentissage d’interactions efficaces entre caractéristiques (feature crosses) constitue la pierre angulaire du développement des systèmes de recommandation. Toutefois, l’espace de caractéristiques dense et très étendu exige une recherche exhaustive pour identifier des interactions pertinentes. Le modèle Deep & Cross Network (DCN) a été proposé afin d’apprendre automatiquement et efficacement des interactions prédictives de degré borné. Malheureusement, dans les modèles déployés à grande échelle, traitant des milliards d’exemples d’entraînement, le réseau de croisement de DCN se révèle limité en expressivité pour capturer des interactions plus prédictives. Malgré les progrès significatifs réalisés dans ce domaine, de nombreux modèles d’apprentissage profond en production continuent de s’appuyer sur des réseaux de neurones feed-forward traditionnels, qui apprennent les interactions entre caractéristiques de manière inefficace.À la lumière des avantages et des limites de DCN ainsi que des approches existantes pour l’apprentissage des interactions entre caractéristiques, nous proposons un cadre amélioré, DCN-V2, afin de rendre DCN plus adapté aux environnements industriels à grande échelle. Dans une étude expérimentale exhaustive incluant une large recherche sur les hyperparamètres et un affinement minutieux des modèles, nous avons observé que DCN-V2 surpassait tous les algorithmes de pointe sur des jeux de données standards. Le modèle amélioré DCN-V2 offre une expressivité accrue tout en restant économiquement efficace dans l’apprentissage des interactions entre caractéristiques, particulièrement lorsqu’il est combiné à une architecture à faible rang (low-rank). DCN-V2 est simple à implémenter, peut facilement servir de blocs de construction, et a permis d’obtenir des gains significatifs en précision hors ligne ainsi qu’en métriques métier en ligne dans de nombreux systèmes de classement basés sur l’apprentissage à grande échelle chez Google.