Chain-of-Skills : un modèle configurable pour la réponse à des questions dans un domaine ouvert

Le modèle de récupération constitue un composant indispensable pour les tâches du monde réel nécessitant une grande quantité de connaissances, telles que la réponse à des questions dans un domaine ouvert (ODQA). Étant donné que des compétences de récupération spécifiques sont annotées séparément pour différentes bases de données, les travaux récents se concentrent sur des méthodes personnalisées, ce qui limite la transférabilité et l’évolutivité des modèles. Dans ce travail, nous proposons un récupérateur modulaire, dans lequel chaque module correspond à une compétence clé pouvant être réutilisée à travers différentes bases de données. Notre approche permet des configurations flexibles des compétences en fonction du domaine cible, afin d’améliorer les performances. Pour atténuer l’interférence entre tâches, nous avons conçu une nouvelle paramétrisation modulaire inspirée par le Transformer épars. Nous démontrons que notre modèle bénéficie à la fois du pré-entraînement auto-supervisé sur Wikipedia et de l’ajustement fin sur plusieurs bases de données ODQA, de manière multi-tâche. Notre méthode surpasse les récupérateurs auto-supervisés récents dans des évaluations en zéro-shot et atteint des performances de pointe pour le réglage fin sur les bases NQ, HotpotQA et OTT-QA.