Peut-on obtenir des succès significatifs dans l'analyse discursive RST en utilisant des grands modèles de langage ?

Récemment, les grands modèles de langage pré-entraînés (LLMs) ne comportant qu'un décodeur, dotés de plusieurs dizaines de milliards de paramètres, ont considérablement influencé une large gamme de tâches en traitement automatique des langues naturelles (NLP). Bien que les modèles de langage pré-entraînés ne comportant qu'un encodeur ou ceux avec un encodeur-décodeur aient déjà fait leurs preuves dans l'analyse du discours, la mesure dans laquelle les LLMs peuvent effectuer cette tâche reste une question de recherche ouverte. Par conséquent, cet article explore l'apport des LLMs à l'analyse du discours selon la théorie de la structure rhétorique (RST). Ici, le processus d'analyse pour les stratégies fondamentales top-down et bottom-up est transformé en invitations à répondre (prompts), avec lesquelles les LLMs peuvent travailler. Nous utilisons Llama 2 et le réglons finement avec QLoRA, qui dispose d'un nombre réduit de paramètres pouvant être ajustés. Les résultats expérimentaux sur trois jeux de données de référence, RST-DT, Instr-DT et le corpus GUM, montrent que Llama 2 avec 70 milliards de paramètres dans la stratégie bottom-up a obtenu des résultats d'état de l'art (SOTA) avec des différences significatives. De plus, nos analyseurs ont démontré leur généralisabilité lorsqu'ils ont été évalués sur RST-DT, en obtenant des performances similaires à celles des analyseurs existants entraînés sur RST-DT, malgré leur entraînement initial sur le corpus GUM.