2 个月前

ELECTRA 和 GPT-4:情感分析中的成本效益伙伴

Beno, James P.
ELECTRA 和 GPT-4:情感分析中的成本效益伙伴
摘要

双向变压器在情感分析方面表现出色,而大型语言模型(LLM)则是有效的零样本学习器。它们是否能作为一个团队表现得更好?本文探讨了ELECTRA与GPT-4o之间在三分类情感分析中的协作方法。我们使用来自斯坦福情感树库(SST)和DynaSent的混合评论数据对四个模型(ELECTRA基础版/大版,GPT-4o/4o-mini)进行了微调(FT)。我们将ELECTRA的预测标签、概率和检索到的示例作为输入提供给GPT。实验结果显示,共享经过微调的ELECTRA基础版预测结果给GPT-4o-mini显著提升了性能(宏F1值为82.50,高于单独使用的ELECTRA基础版微调模型的79.14和GPT-4o-mini的79.41),并且实现了最低的成本/性能比(每提升一个F1点仅需0.12美元)。然而,当对GPT模型进行微调时,包含预测结果反而降低了性能。经过微调的GPT-4o FT-M表现最佳(宏F1值为86.99),紧随其后的是成本低得多的GPT-4o-mini FT(宏F1值为86.70,每提升一个F1点仅需0.38美元,而GPT-4o FT-M则需要1.59美元)。我们的研究结果表明,通过在提示中加入经过微调的编码器的预测结果可以有效提升性能,并且经过微调的GPT-4o-mini在成本降低76%的情况下几乎与GPT-4o FT的表现相当。这两种方案都是资源有限项目中的经济选择。