Appariement Sémantique de Phrases avec des Informations Récurentes Densément Connectées et Co-attentives

L'alignement de phrases est largement utilisé dans diverses tâches de traitement du langage naturel, telles que l'inférence en langage naturel, l'identification de paraphrases et la réponse aux questions. Pour ces tâches, il est nécessaire de comprendre les relations logiques et sémantiques entre deux phrases, mais cela reste un défi. Bien que le mécanisme d'attention soit utile pour capturer la relation sémantique et aligner correctement les éléments des deux phrases, les méthodes précédentes de ce mécanisme utilisaient simplement une opération de sommation qui ne conservait pas suffisamment les caractéristiques originales. Inspirés par DenseNet, un réseau convolutif densément connecté, nous proposons un réseau neuronal récurrent co-attentif densément connecté (Densely-Connected Co-Attentive Recurrent Neural Network), dont chaque couche utilise des informations concaténées des caractéristiques attentives ainsi que des caractéristiques cachées de toutes les couches récurrentes précédentes. Cela permet de préserver les informations sur les caractéristiques originales et co-attentives depuis la couche d'embedding des mots la plus basse jusqu'à la couche récurrente supérieure. Pour atténuer le problème de l'augmentation constante de la taille des vecteurs de caractéristiques due aux opérations de concaténation dense, nous proposons également d'utiliser un autoencodeur après la concaténation dense. Nous évaluons notre architecture proposée sur des jeux de données基准数据集 (benchmark datasets) liés à l'alignement de phrases. Les résultats expérimentaux montrent que notre architecture, qui conserve les caractéristiques récurrentes et attentives, atteint des performances au niveau de l'état de l'art pour la plupart des tâches.Note: "基准数据集" has been kept in Chinese because it is a specific term that might not have a direct French equivalent in this context. However, if you prefer a more general translation, it can be translated as "jeux de données standards".