ELECTRA et GPT-4 : Partenaires Coûteux mais Efficaces pour l'Analyse de Sentiment

Les transformateurs bidirectionnels excellent en analyse de sentiments, et les grands modèles linguistiques (LLM) sont des apprenants efficaces à zéro exemple. Pourraient-ils mieux performer en équipe ? Cet article explore des approches collaboratives entre ELECTRA et GPT-4 pour la classification tripartite des sentiments. Nous avons affiné (FT) quatre modèles (ELECTRA Base/Large, GPT-4o/4o-mini) en utilisant un mélange d'avis provenant du Stanford Sentiment Treebank (SST) et de DynaSent. Nous avons fourni à GPT comme entrée : l'étiquette prédite, les probabilités et les exemples récupérés par ELECTRA. Le partage des prédictions d'ELECTRA Base FT avec GPT-4o-mini a considérablement amélioré les performances par rapport à chaque modèle utilisé séparément (82,50 F1 macro contre 79,14 pour ELECTRA Base FT et 79,41 pour GPT-4o-mini) et a permis d'obtenir le meilleur rapport coût/performance (0,12 $/point F1). Cependant, lorsque les modèles GPT ont été affinés, l'inclusion des prédictions a diminué les performances. Le modèle GPT-4o FT-M s'est avéré être le meilleur performeur (86,99), suivi de près par GPT-4o-mini FT (86,70) à un coût beaucoup plus faible (0,38 $ contre 1,59 $/point F1). Nos résultats montrent que l'augmentation des prompts avec des prédictions issues d'encodeurs affinés est une méthode efficace pour améliorer les performances, et qu'un GPT-4o-mini affiné est presque aussi performant que le GPT-4o FT à un coût inférieur de 76 %. Les deux options sont abordables pour des projets disposant de ressources limitées.