Analyse de la structure syntaxique multilingue avec l'auto-attention et le pré-entraînement

Nous démontrons que l'analyse en constituants bénéficie de l'entraînement non supervisé dans une variété de langues et sous diverses conditions d'entraînement préalable. Nous comparons d'abord les avantages de ne pas effectuer d'entraînement préalable, de fastText, d'ELMo et de BERT pour l'anglais, et nous constatons que BERT surpasse ELMo, principalement grâce à une capacité de modèle accrue, tandis qu'ELMo, à son tour, surpasse les plongements (embeddings) non contextuels de fastText. Nous trouvons également que l'entraînement préalable est bénéfique pour toutes les 11 langues testées ; cependant, des tailles de modèles importantes (plus de 100 millions de paramètres) rendent l'entraînement séparé pour chaque langue coûteux sur le plan computationnel. Pour remédier à ce défaut, nous montrons que l'entraînement préalable multilingue conjoint et le réglage fin permettent de partager tous les paramètres sauf un petit nombre entre dix langues dans le modèle final. La réduction par un facteur de 10 de la taille du modèle par rapport au réglage fin d'un modèle par langue entraîne seulement une augmentation relative des erreurs de 3,2 % en cumulé. Nous explorons davantage l'idée du réglage fin conjoint et montrons qu'elle offre aux langues à ressources limitées un moyen de bénéficier des plus grands ensembles de données des autres langues. Enfin, nous présentons des résultats nouveaux et inégalés pour 11 langues, dont l'anglais (95,8 F1) et le chinois (91,8 F1).