HyperAIHyperAI

Command Palette

Search for a command to run...

Une Comparaison Qualitative de CoQA, SQuAD 2.0 et QuAC

Mark Yatskar

Résumé

Nous comparons trois nouveaux ensembles de données pour le traitement des questions-réponses : SQuAD 2.0, QuAC et CoQA, en mettant l'accent sur plusieurs de leurs nouvelles caractéristiques : (1) les questions non répondues, (2) les interactions multirounds, et (3) les réponses abstraitives. Nous montrons que ces ensembles de données offrent une couverture complémentaire des deux premiers aspects, mais une couverture faible du troisième. En raison de leur similarité structurelle, un modèle unique d'extraction peut être facilement adapté à l'un quelconque de ces ensembles de données, et nous démontrons des améliorations des résultats de base sur SQuAD 2.0 et CoQA. Malgré cette similarité, les modèles formés sur un ensemble de données sont inefficaces sur un autre ensemble de données ; cependant, nous constatons une amélioration modérée des performances grâce au pré-entraînement. Pour encourager l'évaluation croisée, nous mettons à disposition du code permettant la conversion entre les ensembles de données à l'adresse https://github.com/my89/co-squac .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp