Une Méthode Simple pour le Raisonnement de Bon Sens

La raisonnement basé sur le sens commun est un défi de longue date pour l'apprentissage profond. Par exemple, il est difficile d'utiliser des réseaux de neurones pour traiter le jeu de données Winograd Schema (Levesque et al., 2011). Dans cet article, nous présentons une méthode simple pour effectuer un raisonnement basé sur le sens commun avec des réseaux de neurones, en utilisant l'apprentissage non supervisé. L'élément clé de notre méthode est l'utilisation de modèles linguistiques, formés sur une quantité massive de données non étiquetées, pour évaluer les questions à choix multiples posées par les tests de raisonnement basé sur le sens commun. Sur les défis de la désambiguïsation des pronoms et du jeu de données Winograd Schema, nos modèles surpassent largement les méthodes précédentes d'état de l'art, sans utiliser des bases de connaissances annotées coûteuses ou des caractéristiques conçues manuellement. Nous entraînons une série de grands modèles linguistiques RNN qui fonctionnent au niveau des mots ou des caractères sur LM-1-Billion, CommonCrawl, SQuAD, les livres de Gutenberg et un corpus personnalisé pour cette tâche, et montrons que la diversité des données d'entraînement joue un rôle important dans les performances aux tests. Une analyse supplémentaire montre également que notre système réussit à découvrir les caractéristiques importantes du contexte qui déterminent la réponse correcte, indiquant une bonne maîtrise des connaissances basées sur le sens commun.