Entraînement intermédiaire de BERT pour la correspondance de produits

Les modèles basés sur Transformer, tels que BERT, ont permis d’atteindre l’état de l’art pour un large éventail de tâches en traitement du langage naturel. L’entraînement préalable généraliste sur de grands corpus permet aux modèles Transformer d’obtenir de bons résultats même avec de faibles quantités de données d’entraînement pour un ajustement fin spécifique à la tâche. Dans ce travail, nous appliquons BERT à la tâche d’appariement de produits dans le commerce électronique et démontrons que BERT est bien plus efficace en termes de données d’entraînement que d’autres méthodes de pointe. En outre, nous montrons que nous pouvons encore améliorer son efficacité grâce à une étape d’entraînement intermédiaire, exploitant de grandes collections d’offres de produits. Cette étape d’entraînement intermédiaire permet d’obtenir des performances élevées (>90 % de F1) sur de nouveaux produits jamais vus, sans aucune adaptation fine spécifique à ces produits. Un ajustement fin ultérieur apporte des gains supplémentaires, entraînant une amélioration pouvant atteindre 12 % de F1 pour de petits ensembles d’entraînement. L’ajout de l’objectif de modélisation de mots masqués lors de l’étape d’entraînement intermédiaire, afin d’adapter davantage le modèle linguistique au domaine d’application, conduit à une augmentation supplémentaire pouvant atteindre 3 % de F1.