HyperAIHyperAI
il y a 2 mois

Apprentissage de la similarité de phrases par décomposition et composition lexicale

Zhiguo Wang; Haitao Mi; Abraham Ittycheriah
Apprentissage de la similarité de phrases par décomposition et composition lexicale
Résumé

La plupart des méthodes conventionnelles de similarité de phrases se concentrent uniquement sur les parties similaires de deux phrases d'entrée, ignorant simplement les parties dissimilaires, qui nous fournissent généralement des indices et des significations sémantiques sur les phrases. Dans ce travail, nous proposons un modèle prenant en compte à la fois les similarités et les dissimilarités en décomposant et recomposant la sémantique lexicale au sein des phrases. Ce modèle représente chaque mot par un vecteur et calcule un vecteur de correspondance sémantique pour chaque mot en fonction de tous les mots de l'autre phrase. Ensuite, chaque vecteur de mot est décomposé en une composante similaire et une composante dissimilaire basée sur le vecteur de correspondance sémantique. Après cette étape, un modèle CNN à deux canaux est utilisé pour capturer des caractéristiques en recomposant les composantes similaires et dissimilaires. Enfin, un score de similarité est estimé à partir des vecteurs de caractéristiques recomposés. Les résultats expérimentaux montrent que notre modèle obtient des performances de pointe dans la tâche de sélection de phrases réponses et atteint un résultat comparable dans la tâche d'identification de paraphrases.