Se tromper est humain, mais les Llamas peuvent aussi apprendre à le faire

Cette étude explore l'amélioration de la correction d'erreurs grammaticales (GEC) par la génération artificielle d'erreurs (AEG) à l'aide de modèles linguistiques (LM). Plus précisément, nous ajustons finement des modèles linguistiques basés sur Llama 2 pour la génération d'erreurs et constatons que cette approche produit des erreurs synthétiques similaires aux erreurs humaines. Ensuite, nous entraînons des modèles GEC basés sur Llama en utilisant ces erreurs artificielles, dépassant ainsi les modèles d'état de l'art précédents, avec des gains compris entre 0,8 et 6 points F0.5 sur toutes les langues testées (allemand, ukrainien et estonien). En outre, nous démontrons que la génération d'erreurs par ajustement fin de modèles séquence-à-séquence plus petits, ainsi que par promptage de grands modèles commerciaux (GPT-3.5 et GPT-4), conduit également à des erreurs synthétiques bénéfiques pour les modèles de génération d'erreurs.