ConveRT : Représentations conversationnelles efficaces et précises à partir de transformateurs

Les encodeurs de phrases préentraînés à usage général comme BERT ne sont pas idéaux pour les applications d'IA conversationnelle dans le monde réel ; ils sont lourds en termes de calcul, lents et coûteux à entraîner. Nous proposons ConveRT (Conversational Representations from Transformers), un cadre de préentraînement pour les tâches conversationnelles qui satisfait tous les critères suivants : il est efficace, abordable et rapide à entraîner. Nous utilisons un modèle de sélection de réponse basé sur la recherche pour le préentraînement, exploitant efficacement la quantification et la paramétrisation au niveau des sous-mots dans l'encodeur dual afin de construire un modèle léger, économe en mémoire et en énergie. Nous montrons que ConveRT atteint des performances de pointe dans diverses tâches bien établies de sélection de réponse. Nous démontrons également que l'utilisation d'un historique de dialogue étendu en tant que contexte permet d'obtenir des gains supplémentaires en performance. Enfin, nous montrons que les représentations préentraînées issues de l'encodeur proposé peuvent être transférées à la tâche de classification d'intention, produisant des résultats solides sur trois jeux de données variés. ConveRT s'entraîne considérablement plus rapidement que les encodeurs de phrases standards ou les encodeurs duaux précédemment considérés comme étant à la pointe. Grâce à sa taille réduite et ses performances supérieures, nous croyons que ce modèle offre une meilleure portabilité et évolutivité pour les applications d'IA conversationnelle.