Une méthodologie de développement continu pour les systèmes ML dynamiques multitâches à grande échelle

La méthodologie classique d'apprentissage automatique (Machine Learning, ML) consiste à découper le processus de développement et expérimental en itérations disjointes, dont les retours sont utilisés pour guider les choix de conception ou d'ajustement. Cette approche présente plusieurs inconvénients en termes d'efficacité et de scalabilité, notamment le fait de consacrer des ressources importantes à la création de nombreux modèles expérimentaux qui ne contribuent pas directement à la solution finale. Le travail présenté s'appuie sur l'intuition selon laquelle la définition des modèles ML comme des artefacts modulaires et extensibles permet d'introduire une nouvelle méthodologie de développement ML, permettant d'intégrer plusieurs itérations de conception et d'évaluation dans l'enrichissement continu d'un seul système intelligent non borné. Nous proposons une nouvelle méthode de génération de modèles ML multitâches dynamiques, sous forme d'une suite d'extensions et de généralisations. Nous analysons d'abord les capacités de la méthode proposée en utilisant la méthodologie empirique standard d'évaluation ML. Enfin, nous introduisons une nouvelle méthodologie de développement continu, permettant d'étendre dynamiquement un système ML multitâches à grande échelle existant tout en analysant les propriétés des extensions proposées. Ce processus aboutit à la génération d'un modèle ML capable de résoudre conjointement 124 tâches de classification d'images avec une qualité au niveau de l'état de l'art, tout en améliorant significativement les coûts en taille et en ressources de calcul.