HyperAIHyperAI

Command Palette

Search for a command to run...

Chain-of-Skills : un modèle configurable pour la réponse à des questions dans un domaine ouvert

Kaixin Ma Hao Cheng Yu Zhang Xiaodong Liu Eric Nyberg Jianfeng Gao

Résumé

Le modèle de récupération constitue un composant indispensable pour les tâches du monde réel nécessitant une grande quantité de connaissances, telles que la réponse à des questions dans un domaine ouvert (ODQA). Étant donné que des compétences de récupération spécifiques sont annotées séparément pour différentes bases de données, les travaux récents se concentrent sur des méthodes personnalisées, ce qui limite la transférabilité et l’évolutivité des modèles. Dans ce travail, nous proposons un récupérateur modulaire, dans lequel chaque module correspond à une compétence clé pouvant être réutilisée à travers différentes bases de données. Notre approche permet des configurations flexibles des compétences en fonction du domaine cible, afin d’améliorer les performances. Pour atténuer l’interférence entre tâches, nous avons conçu une nouvelle paramétrisation modulaire inspirée par le Transformer épars. Nous démontrons que notre modèle bénéficie à la fois du pré-entraînement auto-supervisé sur Wikipedia et de l’ajustement fin sur plusieurs bases de données ODQA, de manière multi-tâche. Notre méthode surpasse les récupérateurs auto-supervisés récents dans des évaluations en zéro-shot et atteint des performances de pointe pour le réglage fin sur les bases NQ, HotpotQA et OTT-QA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp