Une Approche Discrete Hard EM pour la Question Answering avec Supervision Faible

De nombreuses tâches de réponse aux questions (QA) ne fournissent qu'une supervision faible quant à la manière dont la réponse doit être calculée. Par exemple, les réponses de TriviaQA sont des entités pouvant apparaître plusieurs fois dans les documents d'appui, tandis que les réponses de DROP peuvent être obtenues en dérivant de nombreuses équations différentes à partir des chiffres présents dans le texte de référence. Dans cet article, nous montrons qu'il est possible de transformer de telles tâches en problèmes d'apprentissage à variables latentes discrètes, en utilisant un ensemble prédéfini, spécifique à la tâche, de « solutions » possibles (par exemple, différentes mentions ou équations), parmi lesquelles figure une seule réponse correcte. Nous développons ensuite un algorithme d'apprentissage EM dur, qui calcule les gradients par rapport à la solution la plus probable à chaque mise à jour. Malgré sa simplicité, cette approche surpasse significativement les méthodes précédentes sur six tâches de QA, avec des gains absolus allant de 2 à 10 %, et atteint l'état de l'art sur cinq d'entre elles. L'utilisation de mises à jour dures au lieu de maximiser la vraisemblance marginale s'avère cruciale pour ces résultats, car elle incite le modèle à identifier la réponse correcte unique, comme le démontre une analyse qualitative détaillée.