2달 전

ELECTRA와 GPT-4o: 감성 분석을 위한 비용 효율적인 파트너십

Beno, James P.
ELECTRA와 GPT-4o: 감성 분석을 위한 비용 효율적인 파트너십
초록

양방향 변환기(Bidirectional transformers)는 감성 분석(sentiment analysis)에서 뛰어나며, 대형 언어 모델(Large Language Models, LLM)은 제로샷 학습(zero-shot learning)에 효과적입니다. 이 두 모델이 팀을 이루어 더 나은 성능을 발휘할 수 있을까요? 본 논문에서는 ELECTRA와 GPT-4o 간의 협력 방식을 탐구하여 세 가지 감성 분류(three-way sentiment classification)를 수행합니다.우리는 스탠퍼드 감성 트리뱅크(Stanford Sentiment Treebank, SST)와 DynaSent의 리뷰 데이터를 혼합하여 네 개의 모델(ELECTRA Base/Large, GPT-4o/4o-mini)을 미세 조정(fine-tuned, FT)했습니다. ELECTRA의 출력으로 GPT에 예측된 라벨(predicted label), 확률(probabilities), 및 검색된 예제(retrieved examples)를 제공했습니다. ELECTRA Base FT의 예측 결과를 GPT-4o-mini에 공유한 경우, 각 모델 단독으로 사용할 때보다 성능이 크게 향상되었습니다(82.50 매크로 F1 vs. 79.14 ELECTRA Base FT, 79.41 GPT-4o-mini) 그리고 가장 낮은 비용/성능 비율(\$0.12/F1 포인트)을 기록했습니다. 그러나 GPT 모델들이 미세 조정되었을 때, 예측 결과를 포함시키면 성능이 저하되었습니다. GPT-4o FT-M가 최고의 성능을 보였으며(86.99), GPT-4o-mini FT도 훨씬 적은 비용(\$0.38 vs. \$1.59/F1 포인트)으로 그 뒤를 이었습니다(86.70).본 연구 결과는 미세 조정된 인코더(fine-tuned encoders)의 예측 결과를 프롬프트(prompt)에 추가하는 것이 성능 향상을 효율적으로 돕는 방법임을 보여줍니다. 또한, 미세 조정된 GPT-4o-mini는 비용이 76% 적게 들면서도 GPT-4o FT와 거의 동등한 성능을 발휘합니다. 이 두 옵션은 자원이 제한적인 프로젝트에서도 부담 없이 활용할 수 있는 경제적인 선택입니다.

ELECTRA와 GPT-4o: 감성 분석을 위한 비용 효율적인 파트너십 | 최신 연구 논문 | HyperAI초신경