À quel point les tâches de raisonnement basées sur le sens commun sont-elles raisonnables : Une étude de cas sur le défi Winograd Schema et SWAG

Des études récentes ont considérablement amélioré l'état de l'art dans les évaluations de raisonnement basé sur le sens commun (Common-Sense Reasoning, CSR), telles que le Défi Winograd (Winograd Schema Challenge, WSC) et SWAG. La question que nous posons dans cet article est de savoir si ces performances améliorées sur ces évaluations représentent un progrès authentique vers des systèmes dotés d'un véritable sens commun. Nous menons des études de cas pour chacune de ces évaluations et élaborons des protocoles qui clarifient et qualifient les résultats des travaux précédents en analysant les menaces pesant sur la validité des anciens designs expérimentaux. Nos protocoles prennent en compte plusieurs propriétés courantes dans les évaluations de sens commun, notamment les limitations de taille, les régularités structurelles et la difficulté variable des instances.