BERTはセンチメントを理解しているか？文脈依存的および非文脈依存的埋め込み間の比較を活用して、アスペクトベースセンチメントモデルを改善する

文における異なる語の極性検出（Polarity Detection）を行う際には、その語の周囲の文脈を考慮することで感情（センチメント）を正確に理解する必要があります。BERTのような大規模事前学習言語モデルは、文書内の語そのものだけでなく、その語の周囲の文脈情報も同時にエンコーディングすることができます。これにより、以下の2つの問いが生じます：「事前学習済み言語モデルは、各語についてのセンチメント情報を自動的にエンコードしているのか？」「異なる側面（Aspect）に対する極性を推論するために利用できるのか？」本研究では、BERTの文脈埋め込みと一般的な単語埋め込みの比較を用いることで、センチメントを推論可能であることを示すことで、この問いに答える試みを行います。さらに、BERTと一般的な単語埋め込みの比較に基づくモデルに対して、一部の重みをファインチューニングする手法を適用した場合、アスペクトベースセンチメント分類（Aspect-Based Sentiment Classification）のデータセットにおいて、最先端（state-of-the-art）の極性検出性能を達成できることを示しました。