HyperAIHyperAI

Command Palette

Search for a command to run...

Récupération comme Attention : Apprentissage end-to-end de la récupération et de la lecture au sein d'un seul Transformer

Zhengbao Jiang Luyu Gao Jun Araki Haibo Ding Zhiruo Wang Jamie Callan Graham Neubig

Résumé

Les systèmes destinés aux tâches à forte intensité de connaissance, telles que la réponse à des questions dans un domaine ouvert (QA), reposent généralement sur deux étapes : une récupération efficace de documents pertinents à partir d’un grand corpus, suivie d’une lecture détaillée des documents sélectionnés afin de générer des réponses. Les modules de récupération (retrievers) et de lecture (readers) sont habituellement modélisés de manière séparée, ce qui conduit à une implémentation complexe et rend difficile l’entraînement et l’adaptation en mode end-to-end. Dans cet article, nous reprenons cette approche et abandonnons l’architecture et l’entraînement séparés au profit d’un unique modèle Transformer, appelé ReAtt (Retrieval as Attention), qui intègre la récupération via une attention, et qui est entraîné de manière entièrement end-to-end uniquement à partir de la supervision issue de la tâche finale de QA. Nous démontrons pour la première fois qu’un modèle unique entraîné de manière end-to-end peut atteindre des performances compétitives à la fois en récupération et en réponse aux questions, égalant ou légèrement dépassant les meilleurs systèmes séparément entraînés pour la récupération et la lecture. De plus, l’adaptation end-to-end améliore significativement les performances sur des jeux de données hors domaine, tant dans des scénarios supervisés que non supervisés, rendant notre modèle une solution simple et adaptable pour les tâches à forte intensité de connaissance. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/jzbjyb/ReAtt.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Récupération comme Attention : Apprentissage end-to-end de la récupération et de la lecture au sein d'un seul Transformer | Articles | HyperAI