HyperAIHyperAI

Command Palette

Search for a command to run...

À quel point les tâches de raisonnement basées sur le sens commun sont-elles raisonnables : Une étude de cas sur le défi Winograd Schema et SWAG

Paul Trichelair; Ali Emami; Adam Trischler; Kaheer Suleman; Jackie Chi Kit Cheung

Résumé

Des études récentes ont considérablement amélioré l'état de l'art dans les évaluations de raisonnement basé sur le sens commun (Common-Sense Reasoning, CSR), telles que le Défi Winograd (Winograd Schema Challenge, WSC) et SWAG. La question que nous posons dans cet article est de savoir si ces performances améliorées sur ces évaluations représentent un progrès authentique vers des systèmes dotés d'un véritable sens commun. Nous menons des études de cas pour chacune de ces évaluations et élaborons des protocoles qui clarifient et qualifient les résultats des travaux précédents en analysant les menaces pesant sur la validité des anciens designs expérimentaux. Nos protocoles prennent en compte plusieurs propriétés courantes dans les évaluations de sens commun, notamment les limitations de taille, les régularités structurelles et la difficulté variable des instances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
À quel point les tâches de raisonnement basées sur le sens commun sont-elles raisonnables : Une étude de cas sur le défi Winograd Schema et SWAG | Articles | HyperAI