Classification multi-étiquette à grande échelle du texte législatif de l'UE

Nous abordons la classification de texte multi-étiquette à grande échelle (LMTC) dans le domaine juridique. Nous mettons à disposition un nouveau jeu de données composé de 57 000 documents législatifs provenant d'EURLEX, annotés avec environ 4 300 étiquettes EUROVOC, qui convient pour la LMTC ainsi que pour l'apprentissage par peu d'exemples et l'apprentissage sans exemple. En expérimentant avec plusieurs classifieurs neuronaux, nous démontrons que les BIGRUs avec attention par étiquette se comportent mieux que les autres méthodes actuelles de pointe. Les plongements (embeddings) spécifiques au domaine basés sur WORD2VEC et les plongements contextuels ELMO améliorent encore davantage les performances. Nous constatons également qu'il suffit de considérer uniquement certaines zones des documents. Cela nous permet de contourner la limite maximale de longueur du texte imposée par BERT et d'affiner l'ajustement de BERT, obtenant les meilleurs résultats dans tous les cas sauf celui de l'apprentissage sans exemple.