HyperAIHyperAI

Command Palette

Search for a command to run...

KILT : un benchmark pour les tâches linguistiques intensives en connaissances

Résumé

Des problèmes complexes tels que la réponse à des questions dans un domaine ouvert, la vérification de faits, le remplissage de champs (slot filling) et l’association d’entités exigent un accès à de grandes sources externes de connaissances. Bien que certains modèles se distinguent sur des tâches individuelles, le développement de modèles généraux s’avère difficile, car chaque tâche peut nécessiter un indexage coûteux en ressources de sources de connaissances personnalisées, ainsi qu’une infrastructure dédiée. Pour stimuler la recherche sur des modèles capables de s’appuyer sur des informations spécifiques contenues dans de vastes ressources textuelles, nous présentons un benchmark pour les tâches linguistiques intensives en connaissances (KILT). Toutes les tâches du cadre KILT sont ancrées dans le même instantané de Wikipedia, ce qui réduit le temps de développement grâce à la réutilisation de composants communs, tout en accélérant les recherches sur des architectures de mémoire agnostiques aux tâches. Nous évaluons à la fois des modèles spécifiques à chaque tâche et des modèles généraux, en mesurant non seulement leurs performances en aval, mais aussi leur capacité à fournir une traçabilité (provenance) des réponses. Nous constatons qu’un index vectoriel dense partagé couplé à un modèle seq2seq constitue une base solide, surpassant des approches plus spécialisées pour la vérification de faits, la réponse à des questions dans un domaine ouvert et les dialogues, tout en obtenant des résultats compétitifs sur l’association d’entités et le remplissage de champs, en générant des textes désambiguïsés. Les données et le code de KILT sont disponibles à l’adresse suivante : https://github.com/facebookresearch/KILT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp