HyperAIHyperAI

Command Palette

Search for a command to run...

Une Approche Discrete Hard EM pour la Question Answering avec Supervision Faible

Sewon Min Danqi Chen Hannaneh Hajishirzi Luke Zettlemoyer

Résumé

De nombreuses tâches de réponse aux questions (QA) ne fournissent qu'une supervision faible quant à la manière dont la réponse doit être calculée. Par exemple, les réponses de TriviaQA sont des entités pouvant apparaître plusieurs fois dans les documents d'appui, tandis que les réponses de DROP peuvent être obtenues en dérivant de nombreuses équations différentes à partir des chiffres présents dans le texte de référence. Dans cet article, nous montrons qu'il est possible de transformer de telles tâches en problèmes d'apprentissage à variables latentes discrètes, en utilisant un ensemble prédéfini, spécifique à la tâche, de « solutions » possibles (par exemple, différentes mentions ou équations), parmi lesquelles figure une seule réponse correcte. Nous développons ensuite un algorithme d'apprentissage EM dur, qui calcule les gradients par rapport à la solution la plus probable à chaque mise à jour. Malgré sa simplicité, cette approche surpasse significativement les méthodes précédentes sur six tâches de QA, avec des gains absolus allant de 2 à 10 %, et atteint l'état de l'art sur cinq d'entre elles. L'utilisation de mises à jour dures au lieu de maximiser la vraisemblance marginale s'avère cruciale pour ces résultats, car elle incite le modèle à identifier la réponse correcte unique, comme le démontre une analyse qualitative détaillée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp