BERTを用いたAspect-Based Sentiment Analysisにおける敵対的訓練

Aspect-Based Sentiment Analysis（ABSA）は、感情の抽出とその対象（ターゲット）の特定を扱うタスクである。ニューラルネットワークの一般化性能を向上させるために、このタスクに必要なラベル付きデータを収集することは、人的・時間的な負担が大きく、非効率である場合が多い。その代替手段として、埋め込み空間（embedding space）内で敵対的プロセス（adversarial process）を用いて、現実の例に類似した人工的なデータを生成することが可能である。これらのデータは実際の文ではないが、ニューラルネットワークのロバスト性を向上させる正則化手法として有効であることが示されている。本研究では、Goodfellowら（2014）が提唱した敵対的学習（adversarial training）を、Xuら（2019）が提案した事後微調整済みBERT（BERT-PT）モデルに適用し、感情分析における2つの主要なタスク、すなわちAspect Extraction（要因抽出）およびAspect Sentiment Classification（要因感情分類）に適用した。アブレーションスタディによりBERT-PTの性能を向上させた後、ABSAにおける敵対的学習を有効に活用するための新規アーキテクチャとして、BERT Adversarial Training（BAT）を提案する。提案モデルは、両タスクにおいて事後微調整済みBERTを上回る性能を達成した。筆者らの知る限り、本研究は敵対的学習をABSAに応用した初めての試みである。