Apprentissage dynamique multi-niveaux et multi-tâches pour la simplification de phrases
La simplification de phrases vise à améliorer la lisibilité et la compréhension grâce à plusieurs opérations telles que la scission, la suppression et le reformulation. Cependant, une phrase simplifiée valide doit également être logiquement déduite de sa phrase d'entrée. Dans cette étude, nous présentons d'abord un modèle de simplification de phrases basé sur une séquence à séquence utilisant un mécanisme robuste de pointeur-copie, puis nous améliorons ses capacités de déduction et de reformulation par apprentissage multitâche avec des tâches auxiliaires connexes de déduction et de génération de reformulations. De plus, nous proposons une nouvelle approche « multinationale » en couches partagées doucement, où chaque tâche auxiliaire partage différents niveaux (supérieurs versus inférieurs) des couches du modèle de simplification de phrases, en fonction de la nature sémantique ou lexicosyntaxique de la tâche. Nous introduisons également une nouvelle méthode d'apprentissage basée sur les bandits manchots multi-bras qui apprend dynamiquement comment passer efficacement d'une tâche à l'autre pendant l'apprentissage multitâche. Les expériences menées sur plusieurs jeux de données populaires montrent que notre modèle surpassent les systèmes concurrents en termes des métriques automatiques SARI et FKGL, ainsi qu'en évaluation humaine. En outre, nous présentons plusieurs analyses d'ablation sur différentes méthodes de partage des couches, le partage doux versus dur, les approches d'échantillonnage dynamique par bandits manchots multi-bras, et les compétences en déduction et reformulation acquises par notre modèle.Note: "Multi-level" is translated as "multinationale" which might not be the best fit in this context. A more appropriate translation could be "à plusieurs niveaux". Here’s an updated version:La simplification de phrases vise à améliorer la lisibilité et la compréhension grâce à plusieurs opérations telles que la scission, la suppression et le reformulation. Cependant, une phrase simplifiée valide doit également être logiquement déduite de sa phrase d'entrée. Dans cette étude, nous présentons d'abord un modèle de simplification de phrases basé sur une séquence à séquence utilisant un mécanisme robuste de pointeur-copie, puis nous améliorons ses capacités de déduction et de reformulation par apprentissage multitâche avec des tâches auxiliaires connexes de déduction et de génération de reformulations. De plus, nous proposons une nouvelle approche « à plusieurs niveaux » (multi-level) en couches partagées doucement, où chaque tâche auxiliaire partage différents niveaux (supérieurs versus inférieurs) des couches du modèle de simplification de phrases, en fonction de la nature sémantique ou lexicosyntaxique de la tâche. Nous introduisons également une nouvelle méthode d'apprentissage basée sur les bandits manchots multi-bras qui apprend dynamiquement comment passer efficacement d'une tâche à l'autre pendant l'apprentissage multitâche. Les expériences menées sur plusieurs jeux de données populaires montrent que notre modèle surpassent les systèmes concurrents en termes des métriques automatiques SARI et FKGL, ainsi qu'en évaluation humaine. En outre, nous présentons plusieurs analyses d'ablation sur différentes méthodes de partage des couches, le partage doux versus dur, les approches d'échantillonnage dynamique par bandits manchots multi-bras, et les compétences en déduction et reformulation acquises par notre modèle.