2ヶ月前

ELECTRA と GPT-4o: 感情分析のためのコスト効果の高いパートナー

Beno, James P.
ELECTRA と GPT-4o: 感情分析のためのコスト効果の高いパートナー
要約

双方向トランスフォーマーは感情分析に優れており、大規模言語モデル(Large Language Models: LLM)はゼロショット学習において効果的です。これらのモデルをチームとして利用することで、より良い性能が得られる可能性があるのでしょうか。本論文では、ELECTRAとGPT-4oの間での協調的なアプローチを三値感情分類のために探求しています。我々は、スタンフォード感性木バンク(Stanford Sentiment Treebank: SST)とDynaSentからレビューを混合して使用し、4つのモデル(ELECTRA Base/Large, GPT-4o/4o-mini)をファインチューニング(FT)しました。ELECTRAからの入力をGPTに対して予測ラベル、確率、および検索された例として提供しました。ELECTRA Base FTの予測結果をGPT-4o-miniと共有した場合、単独のいずれかのモデルよりも性能が大幅に向上しました(82.50マクロF1対79.14 ELECTRA Base FT、79.41 GPT-4o-mini)かつコストパフォーマンス比が最も低くなりました(\$0.12/F1ポイント)。しかし、GPTモデルがファインチューニングされた場合、予測結果を含めると性能が低下しました。GPT-4o FT-Mが最優秀な性能を発揮しました(86.99)、その次にGPT-4o-mini FTも高い性能を示しました(86.70)ただしコストは大幅に低いでした(\$0.38対\$1.59/F1ポイント)。我々の結果は、ファインチューニングされたエンコーダからの予測結果を使用してプロンプトを補強することが効率的な方法であり、ファインチューニングされたGPT-4o-miniはコストが76%低いにもかかわらずGPT-4o FTとほぼ同等の性能を持つことを示しています。これら両方のオプションは、リソースに制限のあるプロジェクトにとって費用対効果が高い選択肢であると言えます。

ELECTRA と GPT-4o: 感情分析のためのコスト効果の高いパートナー | 最新論文 | HyperAI超神経