NFLAT : Transformateur Non-Plat pour la Reconnaissance d'Entités Nommées en Chinois

Récemment, le Flat-Lattice Transformer (FLAT) a connu un grand succès dans la reconnaissance d'entités nommées en chinois (NER). FLAT réalise une amélioration lexicale en construisant des treillis plats, ce qui atténue les difficultés liées aux frontières floues des mots et au manque de sémantique lexicale. Dans FLAT, les positions des caractères de début et de fin sont utilisées pour relier un mot correspondant. Cependant, cette méthode est susceptible de faire correspondre plus de mots lorsqu'elle traite des textes longs, entraînant ainsi des séquences d'entrée prolongées. Par conséquent, elle augmente considérablement les coûts mémoire et computationnels du module d'auto-attention. Pour résoudre ce problème, nous proposons une nouvelle méthode d'amélioration lexicale, InterFormer, qui réduit efficacement les coûts computationnels et mémoire en construisant des treillis non plats. De plus, en utilisant InterFormer comme base, nous avons mis en œuvre NFLAT pour la reconnaissance d'entités nommées en chinois. NFLAT dissocie la fusion du lexique et l'encodage des caractéristiques contextuelles. Comparativement à FLAT, il réduit les calculs d'attention inutiles entre «caractère-mot» et «mot-mot». Cela permet de réduire l'utilisation de la mémoire d'environ 50% et d'utiliser des lexiques plus étendus ou des lots plus importants pour l'entraînement du réseau. Les résultats expérimentaux obtenus sur plusieurs benchmarks reconnus démontrent la supériorité de la méthode proposée par rapport aux modèles hybrides (caractère-mot) les plus avancés.