2ヶ月前

多タスク学習とLLMを用いた暗黙の感情分析:データレベルとタスクレベルでの自動重み付け学習

Wenna Lai; Haoran Xie; Guandong Xu; Qing Li
多タスク学習とLLMを用いた暗黙の感情分析:データレベルとタスクレベルでの自動重み付け学習
要約

暗黙の感情分析(ISA)は、目立ったcue words(手がかりとなる単語)がないことから、大きな課題を呈しています。従来の手法では、十分なデータが不足していることと、推論能力が限られていることから、潜在的な意見を正確に推定することが難しかったです。多タスク学習(MTL)と大規模言語モデル(LLMs)を統合することで、異なるサイズのモデルでもISAにおける本物の意見を信頼性高く認識できる可能性があります。しかし、既存のMTLアプローチは2つの不確実性によって制約されています:データレベルの不確実性は、LLM生成の文脈情報における幻覚問題から生じ、タスクレベルの不確実性は、モデルが文脈情報を処理する能力の違いから生じます。これらの不確実性に対処するために、我々はMT-ISAという新しいMTLフレームワークを提案します。このフレームワークは、自動MTLを通じて生成および推論能力を持つLLMsを活用し、ISAを強化します。具体的には、MT-ISAは生成型LLMsを使用して補助タスクを作成し、感情要素を補完するとともに、自動MTLを取り入れて補助データを最大限に活用します。さらに、データレベルとタスクレベルでの自動重み学習(AWL)を導入し、これにより動的に関係性を特定し、より信頼性のあるデータや重要なタスクを優先させることができます。これにより、異なるサイズのモデルが自らの推論能力に基づいて細かい重みを適応的に学習することが可能になります。我々はデータレベルAWLの3つの戦略について調査し、同時にタスクレベルAWLのために均一分散不確実性(homoscedastic uncertainty)も導入しました。広範な実験結果から、異なるサイズのモデルがMT-ISAにおいて主予測と補助タスクとの間で最適なバランスを達成できることを示しています。これは我々のアプローチが効果的でありかつ適応的であることを強調しています。