Deux est mieux que beaucoup ? La classification binaire comme approche efficace pour répondre aux questions à choix multiples

Nous proposons une refonte simple des tâches de réponse à des questions à choix multiples (MCQA) sous forme d'une série de classifications binaires. La tâche MCQA est généralement réalisée en évaluant chaque paire (question, réponse) normalisée sur l'ensemble des paires, puis en sélectionnant la réponse qui obtient le plus haut score. Pour n options de réponse, cela revient à un cadre de classification à n classes où seule une classe (la vraie réponse) est correcte. Nous montrons au contraire que classer les paires (question, vraie réponse) comme instances positives et les paires (question, fausse réponse) comme instances négatives est significativement plus efficace sur divers modèles et jeux de données. Nous démontrons l'efficacité de notre approche proposée dans différentes tâches : raisonnement abductif, réponse aux questions de bon sens, réponse aux questions scientifiques et complétion de phrases. Notre modèle de classification binaire DeBERTa atteint les meilleures performances ou des performances très proches des meilleures sur les tableaux de bord publics pour ces tâches. Le code source de l'approche proposée est disponible à l'adresse suivante : https://github.com/declare-lab/TEAM.