HyperAIHyperAI
vor 2 Monaten

ELECTRA und GPT-4o: Kosteneffektive Partner für die Stimmungsanalyse

Beno, James P.
ELECTRA und GPT-4o: Kosteneffektive Partner für die Stimmungsanalyse
Abstract

Bidirektionale Transformer erweisen sich bei der Stimmungsanalyse als besonders effektiv, und große Sprachmodelle (LLM) sind erfolgreiche Zero-Shot-Lerner. Könnten sie als Team noch bessere Leistungen erzielen? Diese Arbeit untersucht kollaborative Ansätze zwischen ELECTRA und GPT-4o für eine dreiklassige Stimmungsanalyse. Wir haben vier Modelle (ELECTRA Base/Large, GPT-4o/4o-mini) unter Verwendung einer Mischung aus Rezensionen des Stanford Sentiment Treebanks (SST) und DynaSent feinjustiert (FT). Als Eingabe für GPT wurden die Vorhersagen von ELECTRA bereitgestellt: vorhergesagte Kategorie, Wahrscheinlichkeiten und abgerufene Beispiele. Der Austausch von Vorhersagen des feinjustierten ELECTRA Base mit dem GPT-4o-mini führte zu einem signifikanten Leistungsanstieg im Vergleich zu den einzelnen Modellen (82,50 Makro-F1 gegenüber 79,14 ELECTRA Base FT und 79,41 GPT-4o-mini) und ergab das günstigste Kosten/Leistungsverhältnis (0,12 USD pro F1-Punkt). Allerdings verringerte die Einbeziehung von Vorhersagen die Leistung der feinjustierten GPT-Modelle. Das feinjustierte GPT-4o FT-M war der beste Performer (86,99), gefolgt vom fast ebenso leistungsfähigen GPT-4o-mini FT (86,70) bei deutlich geringeren Kosten (0,38 USD im Vergleich zu 1,59 USD pro F1-Punkt). Unsere Ergebnisse zeigen, dass das Ergänzen von Prompts durch Vorhersagen feinjustierter Encoder eine effiziente Methode ist, um die Leistung zu steigern. Ein feinjustiertes GPT-4o-mini erreicht dabei nahezu die gleiche Leistung wie das feinjustierte GPT-4o FT bei 76 % geringeren Kosten. Beide bieten kostengünstige Optionen für Projekte mit begrenzten Ressourcen.

ELECTRA und GPT-4o: Kosteneffektive Partner für die Stimmungsanalyse | Neueste Forschungsarbeiten | HyperAI