HyperAIHyperAI

Command Palette

Search for a command to run...

NFLAT : Transformateur Non-Plat pour la Reconnaissance d'Entités Nommées en Chinois

Shuang Wu Xiaoning Song* Member, IEEE Zhen-Hua Feng* Senior Member, IEEE Xiao-Jun Wu Member, IEEE

Résumé

Récemment, le Flat-Lattice Transformer (FLAT) a connu un grand succès dans la reconnaissance d'entités nommées en chinois (NER). FLAT réalise une amélioration lexicale en construisant des treillis plats, ce qui atténue les difficultés liées aux frontières floues des mots et au manque de sémantique lexicale. Dans FLAT, les positions des caractères de début et de fin sont utilisées pour relier un mot correspondant. Cependant, cette méthode est susceptible de faire correspondre plus de mots lorsqu'elle traite des textes longs, entraînant ainsi des séquences d'entrée prolongées. Par conséquent, elle augmente considérablement les coûts mémoire et computationnels du module d'auto-attention. Pour résoudre ce problème, nous proposons une nouvelle méthode d'amélioration lexicale, InterFormer, qui réduit efficacement les coûts computationnels et mémoire en construisant des treillis non plats. De plus, en utilisant InterFormer comme base, nous avons mis en œuvre NFLAT pour la reconnaissance d'entités nommées en chinois. NFLAT dissocie la fusion du lexique et l'encodage des caractéristiques contextuelles. Comparativement à FLAT, il réduit les calculs d'attention inutiles entre «caractère-mot» et «mot-mot». Cela permet de réduire l'utilisation de la mémoire d'environ 50% et d'utiliser des lexiques plus étendus ou des lots plus importants pour l'entraînement du réseau. Les résultats expérimentaux obtenus sur plusieurs benchmarks reconnus démontrent la supériorité de la méthode proposée par rapport aux modèles hybrides (caractère-mot) les plus avancés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp