HyperAIHyperAI
il y a 2 mois

Apprentissage Multi-Tâches avec les LLMs pour l'Analyse de Sentiment Implicite : Apprentissage Automatique des Poids au Niveau des Données et au Niveau des Tâches

Wenna Lai; Haoran Xie; Guandong Xu; Qing Li
Apprentissage Multi-Tâches avec les LLMs pour l'Analyse de Sentiment Implicite : Apprentissage Automatique des Poids au Niveau des Données et au Niveau des Tâches
Résumé

L'analyse de sentiment implicite (ISA) présente des défis importants en raison de l'absence de mots-clés saillants. Les méthodes précédentes ont eu du mal à surmonter le manque de données et les capacités limitées de raisonnement pour inférer les opinions sous-jacentes. L'intégration de l'apprentissage multi-tâche (MTL) avec des grands modèles linguistiques (LLMs) offre la possibilité d'améliorer la perception et la reconnaissance fiables des opinions authentiques dans l'ISA, même pour des modèles de tailles variées. Cependant, les approches MTL existantes sont limitées par deux sources d'incertitude : l'incertitude au niveau des données, qui découle des problèmes d'hallucination dans les informations contextuelles générées par les LLMs, et l'incertitude au niveau des tâches, qui résulte des capacités variables des modèles à traiter ces informations contextuelles.Pour gérer ces incertitudes, nous présentons MT-ISA, un nouveau cadre MTL qui améliore l'ISA en tirant parti des capacités de génération et de raisonnement des LLMs grâce à un apprentissage multi-tâche automatique. Plus précisément, MT-ISA construit des tâches auxiliaires en utilisant des LLMs génératifs pour compléter les éléments de sentiment et intègre un apprentissage multi-tâche automatique afin d'exploiter pleinement les données auxiliaires. Nous introduisons un apprentissage automatique pondéré (AWL) au niveau des données et au niveau des tâches, qui identifie dynamiquement les relations et priorise les données plus fiables et les tâches critiques, permettant ainsi aux modèles de tailles variées d'apprendre adaptativement des poids fins en fonction de leurs capacités de raisonnement.Nous examinons trois stratégies pour l'AWL au niveau des données tout en introduisant une incertitude homoscédastique pour l'AWL au niveau des tâches. Des expériences étendues montrent que les modèles de tailles variées atteignent un équilibre optimal entre la prédiction principale et les tâches auxiliaires dans MT-ISA. Cela souligne l'efficacité et l'adaptabilité de notre approche.