HyperAIHyperAI
il y a 17 jours

Détection de position avec des agents LLM à infusion de rôles collaboratifs

Xiaochong Lan, Chen Gao, Depeng Jin, Yong Li
Détection de position avec des agents LLM à infusion de rôles collaboratifs
Résumé

La détection de position (stance detection) permet automatiquement d’identifier la position d’un texte par rapport à une cible, ce qui est essentiel pour l’analyse de contenu dans les recherches sur le web et les médias sociaux. Malgré leurs capacités prometteuses, les grands modèles linguistiques (LLMs) font face à des défis lorsqu’ils sont appliqués directement à la détection de position. Premièrement, cette tâche exige une connaissance multidimensionnelle : de la compréhension des termes liés à un événement, jusqu’à l’appréhension des styles d’expression propres aux plateformes de médias sociaux. Deuxièmement, elle nécessite un raisonnement avancé pour inférer les points de vue implicites des auteurs, car les positions sont souvent intégrées de manière subtile dans le texte, plutôt que formulées explicitement. Pour relever ces défis, nous proposons un cadre en trois étapes, COLA (acronyme de Collaborative rOle-infused LLM-based Agents), dans lequel les LLMs sont attribués des rôles spécifiques, formant ainsi un système collaboratif où chaque rôle apporte une contribution unique. Dans une première phase, l’analyse multidimensionnelle du texte, nous configurons les LLMs pour qu’ils incarnent un expert linguistique, un spécialiste du domaine et un vétéran des médias sociaux, afin d’obtenir une analyse approfondie et multifacette du texte, surmontant ainsi le premier défi. Dans une deuxième phase, le débat renforcé par le raisonnement, pour chaque position potentielle, un agent basé sur un LLM est assigné pour la défendre, guidant ainsi le modèle à établir des liens logiques entre les caractéristiques du texte et la position, répondant ainsi au second défi. Enfin, dans la phase de conclusion de la position, un agent décideur final synthétise les insights précédents pour déterminer la position finale. Notre approche ne nécessite ni données annotées supplémentaires ni entraînement de modèle, ce qui en fait une solution hautement utilisable. Nous atteignons des performances de pointe sur plusieurs jeux de données. Des études d’ablation valident l’efficacité de chaque rôle conçu pour la détection de position. Des expériences supplémentaires démontrent la capacité d’explication (explicabilité) et la polyvalence de notre méthode. Notre approche se distingue par une excellente usabilité, une grande précision, une efficacité remarquable, une explicabilité forte et une grande polyvalence, mettant ainsi en évidence sa valeur significative.