HyperAIHyperAI
il y a 17 jours

SPARTA : Répondre efficacement à des questions à domaine ouvert grâce à une récupération par correspondance de transformateur creux

Tiancheng Zhao, Xiaopeng Lu, Kyusong Lee
SPARTA : Répondre efficacement à des questions à domaine ouvert grâce à une récupération par correspondance de transformateur creux
Résumé

Nous présentons SPARTA, une nouvelle méthode de recherche neurale qui s’impose comme très prometteuse en termes de performance, de généralisation et d’interprétabilité pour la réponse à des questions dans un domaine ouvert. Contrairement à de nombreuses méthodes de classement neurales qui reposent sur une recherche par voisinage des vecteurs denses, SPARTA apprend une représentation creuse pouvant être efficacement mise en œuvre sous la forme d’un index inversé. Cette représentation permet une recherche neurale évolutif, ne nécessitant pas de recherche vectorielle approchée coûteuse, et offre une meilleure performance que ses homologues basées sur des vecteurs denses. Nous avons validé notre approche sur 4 tâches de réponse à des questions dans un domaine ouvert (OpenQA) et 11 tâches de recherche de réponses à des questions (ReQA). SPARTA atteint de nouveaux records mondiaux sur une large variété de tâches de réponse à des questions dans un domaine ouvert, sur des jeux de données en anglais et en chinois, notamment Open SQuAD, Natural Questions, CMRC, etc. Une analyse complémentaire confirme que la méthode proposée génère des représentations interprétables par l’humain et permet un contrôle souple du compromis entre performance et efficacité.