BOLT : Un cadre d’apprentissage profond automatisé pour former et déployer des modèles de recherche et de recommandation à grande échelle sur des matériels CPU grand public

L’entraînement efficace et l’inférence à grande échelle des réseaux de neurones sur des matériels standards de type CPU constituent une avancée d’une importance pratique considérable pour la démocratisation des capacités d’apprentissage profond (deep learning, DL). Actuellement, le processus d’entraînement de modèles massifs comprenant des centaines de millions voire des milliards de paramètres repose largement sur des accélérateurs matériels spécialisés, tels que les GPU, qui ne sont accessibles qu’à un nombre limité d’institutions disposant de ressources financières importantes. En outre, l’entraînement et le déploiement de ces modèles sont souvent associés à une empreinte carbone préoccupante. Dans ce papier, nous proposons une avancée vers la résolution de ces défis en introduisant BOLT, une bibliothèque d’apprentissage profond creuse conçue pour l’entraînement de modèles de recherche et de recommandation à grande échelle sur des architectures CPU standard. BOLT offre une API haut niveau, flexible et familière aux utilisateurs des principaux frameworks DL existants, permettant la construction de modèles de manière intuitive. En ajustant automatiquement des hyperparamètres spécialisés, BOLT masque également les détails algorithmiques complexes liés à l’entraînement de réseaux creux. Nous évaluons BOLT sur plusieurs tâches de récupération d’information, notamment la recommandation de produits, la classification de texte, les réseaux neuronaux de graphes et la personnalisation. Nos résultats montrent que notre système atteint des performances compétitives par rapport aux techniques de pointe, tout en nécessitant une fraction du coût et de la consommation énergétique, ainsi qu’un temps d’inférence d’un ordre de grandeur plus rapide. BOLT a déjà été déployé avec succès par plusieurs entreprises afin de résoudre des problèmes critiques, et nous présentons dans cet article un cas d’étude détaillé dans le domaine du e-commerce.