要約
シーケンスラベリングタスクでは、与えられた文内の各単語に対して文表現を計算する必要があります。一般的な手法として、双方向長短期記憶（BiLSTM）層を使用してシーケンス構造情報を強化することが挙げられます。しかし、実証的な証拠（Li, 2020）は、BiLSTMがシーケンスラベリングタスクの文表現を生成する能力に本質的な制限があることを示唆しています。この制限は主に、過去と未来の文表現の断片を統合して完全な文表現を形成しようとする際に生じます。本研究では、BiLSTMの最初と最後のセルで見つかった全体的な文表現が、各セルの個々の文表現を補完できることを観察しました。これに基づいて、全体的な未来と過去の文表現をBiLSTMフレームワーク内の各セルの文表現に統合するためのグローバルコンテキストメカニズムを開発しました。BERTモデルをBiLSTM内に組み込むことでデモンストレーションを行い、名詞認識（NER）、品詞タギング（POS）、エンドツーエンドアスペクトベース感情分析（E2E-ABSA）などを含む9つのデータセットで網羅的な実験を行った結果、すべての検討されたデータセットにおいてF1スコアと精度に顕著な改善が見られました。