HyperAIHyperAI
il y a 3 mois

Extension de contexte pilotée par la logique et augmentation de données pour le raisonnement logique sur le texte

Siyuan Wang, Wanjun Zhong, Duyu Tang, Zhongyu Wei, Zhihao Fan, Daxin Jiang, Ming Zhou, Nan Duan
Extension de contexte pilotée par la logique et augmentation de données pour le raisonnement logique sur le texte
Résumé

Le raisonnement logique dans le texte exige une compréhension des informations logiques critiques contenues dans le texte ainsi que la capacité à effectuer des inférences à partir de celles-ci. Les grands modèles pré-entraînés pour le raisonnement logique se concentrent principalement sur les sémantiques au niveau des mots tout en éprouvant des difficultés à capturer la logique symbolique. Dans cet article, nous proposons de comprendre les symboles et expressions logiques présents dans le texte afin d’arriver à la bonne réponse. À partir de ces informations logiques, nous introduisons non seulement un cadre d’extension de contexte, mais aussi un algorithme d’augmentation de données. Le premier étend le contexte pour inclure des expressions logiques implicites conformément aux lois d’équivalence logique. Le second augmente des instances littéralement similaires mais logiquement différentes, afin de mieux capturer les informations logiques, en particulier les relations négatives et conditionnelles. Nous menons des expériences sur le jeu de données ReClor. Les résultats montrent que notre méthode atteint une performance de pointe, et que les deux composants — le cadre d’extension de contexte piloté par la logique et l’algorithme d’augmentation de données — contribuent à améliorer l’exactitude. De plus, notre système d’ensemble multi-modèles est le premier à dépasser les performances humaines sur les ensembles EASY et HARD du jeu de données ReClor.