Un système pour une analyse interactive en temps réel de l'entraînement des modèles de deep learning

Effectuer un diagnostic ou une analyse exploratoire pendant l’entraînement des modèles d’apprentissage profond est un défi, mais souvent nécessaire pour prendre une série de décisions guidées par des observations incrémentales. Les systèmes actuellement disponibles à cet effet se limitent à surveiller uniquement les données enregistrées (logged data), qui doivent être définies avant le début du processus d’entraînement. Chaque fois qu’une nouvelle information est requise, un cycle d’arrêt-modification-redémarrage doit être réalisé dans le processus d’entraînement. Ces contraintes rendent les tâches d’exploration interactive et de diagnostic particulièrement difficiles, entraînant des itérations longues et fastidieuses durant le développement du modèle. Nous présentons un nouveau système permettant aux utilisateurs d’effectuer des requêtes interactives sur des processus en cours, générant des informations en temps réel, pouvant être affichées simultanément sous plusieurs formats et sur divers supports grâce à différentes visualisations souhaitées. Pour atteindre cet objectif, nous modélisons diverses tâches d’inspection exploratoire et de diagnostic pour les processus d’entraînement des réseaux de neurones profonds en tant que spécifications de flux, en utilisant un paradigme map-reduce, familier à de nombreux data scientists. Notre conception assure une généralité et une extensibilité grâce à la définition de primitives composable, une approche fondamentalement différente de celle adoptée par les systèmes actuellement disponibles. L’implémentation open source de notre système est disponible sous forme de projet TensorWatch à l’adresse suivante : https://github.com/microsoft/tensorwatch.