L'Attention (n'est pas) Tout ce Dont Vous Avez Besoin pour la Raisonnement de Bon Sens

Le modèle BERT récemment introduit montre des performances solides sur plusieurs benchmarks de compréhension linguistique. Dans cet article, nous décrivons une implémentation simplifiée du BERT pour la raisonnement de bon sens. Nous montrons que les attentions produites par BERT peuvent être utilisées directement pour des tâches telles que le problème de désambiguïsation des pronoms et le défi Winograd Schema (Winograd Schema Challenge). Notre méthode de raisonnement de bon sens guidée par l'attention est conceptuellement simple mais empiriquement puissante. L'analyse expérimentale sur plusieurs jeux de données démontre que notre système proposé performe remarquablement bien dans tous les cas, surpassant l'état de l'art précédemment rapporté avec une marge significative. Bien que les résultats suggèrent que BERT semble apprendre implicitement à établir des relations complexes entre les entités, la résolution des tâches de raisonnement de bon sens pourrait nécessiter plus que des modèles non supervisés appris à partir de grands corpus textuels.