L’alignement des tâches d’instruction débloque les grands modèles linguistiques en extracteurs de relations zéro-shot

Des travaux récents ont montré que le fine-tuning des grands modèles linguistiques (LLM) sur de grandes bases de données d'instructions largement étendues améliore considérablement leurs performances sur une large gamme de tâches de traitement du langage naturel (NLP), en particulier dans un cadre zero-shot. Toutefois, même les LLM fine-tunés les plus avancés échouent encore à surpasser les petits modèles linguistiques sur la tâche fondamentale d'extraction de relations (RE). Nous supposons que le fine-tuning par instruction n’a pas réussi à activer des capacités solides en RE chez les LLM en raison de la faible fréquence de cette tâche dans les bases de données de fine-tuning par instruction, représentant moins de 1 % de toutes les tâches (Wang et al., 2022). Pour surmonter cette limitation, nous proposons QA4RE, un cadre qui aligne l’extraction de relations avec la tâche dominante de réponse aux questions (QA), largement présente dans les bases de données de fine-tuning par instruction. Des expériences zero-shot approfondies menées sur quatre jeux de données, avec deux séries de LLM fine-tunés (soit six LLM au total), démontrent que notre cadre QA4RE améliore de manière cohérente les performances des LLM, confirmant fortement notre hypothèse et permettant aux LLM de surpasser largement les meilleurs baselines zero-shot. En outre, nous fournissons des expériences et des analyses détaillées pour illustrer la robustesse, l’efficacité en few-shot et la forte transférabilité de notre cadre QA4RE. Ce travail ouvre une voie prometteuse pour adapter les LLM à des tâches exigeantes et sous-représentées en les alignant sur des tâches de fine-tuning par instruction plus courantes, telles que la QA.