MobileBERT : un BERT compact et indépendant des tâches pour les dispositifs à ressources limitées

Le traitement du langage naturel (NLP) a récemment connu un grand succès grâce à l'utilisation de modèles pré-entraînés de grande taille, comportant des centaines de millions de paramètres. Toutefois, ces modèles souffrent de tailles importantes et de latences élevées, ce qui les rend inadaptés au déploiement sur des dispositifs mobiles aux ressources limitées. Dans cet article, nous proposons MobileBERT, une méthode de compression et d'accélération du modèle populaire BERT. Tout comme le BERT original, MobileBERT est indépendant des tâches, c’est-à-dire qu’il peut être appliqué de manière générique à diverses tâches NLP en aval par simple fine-tuning. Fondamentalement, MobileBERT est une version allégée de BERT_LARGE, dotée de structures à emboutissement (bottleneck) et d’un équilibre soigneusement conçu entre les réseaux d’attention auto-associative et les réseaux feed-forward. Pour entraîner MobileBERT, nous commençons par former un modèle enseignant spécialement conçu, un modèle BERT_LARGE intégrant une structure d’emboutissement inversé. Ensuite, nous réalisons un transfert de connaissance de ce modèle enseignant vers MobileBERT. Des études empiriques montrent que MobileBERT est 4,3 fois plus petit et 5,5 fois plus rapide que BERT_BASE, tout en atteignant des résultats compétitifs sur des benchmarks bien connus. Sur les tâches d’inférence linguistique du jeu de données GLUE, MobileBERT obtient un score GLUE de 77,7 (soit 0,6 de moins que BERT_BASE), avec une latence de 62 ms sur un téléphone Pixel 4. Sur les tâches de réponse aux questions SQuAD v1.1/v2.0, MobileBERT atteint un score F1 de développement de 90,0/79,2 (respectivement 1,5 et 2,1 de plus que BERT_BASE).