초록
시퀀스 라벨링 작업은 주어진 문장 내 각 단어에 대한 문장 표현을 계산하는 것이 필요합니다. 일반적인 방법으로는 양방향 장단기 기억(Bi-directional Long Short-Term Memory, BiLSTM) 레이어를 사용하여 시퀀스 구조 정보를 강화하는 것입니다. 그러나 실증적 증거(Li, 2020)는 BiLSTM이 시퀀스 라벨링 작업을 위한 문장 표현을 생성하는 능력이 본질적으로 제한되어 있음을 시사합니다. 이 제한은 주로 과거와 미래의 문장 표현 조각들을 통합하여 완전한 문장 표현을 구성하는 과정에서 발생합니다. 본 연구에서는 BiLSTM의 첫 번째 셀과 마지막 셀에서 발견되는 전체 문장 표현이 각 셀의 개별 문장 표현을 보완할 수 있다는 것을 관찰하였습니다. 이를 바탕으로 우리는 BiLSTM 프레임워크 내에서 각 셀의 문장 표현에 전체 미래 및 과거 문장 표현을 통합하기 위한 전역 컨텍스트 메커니즘을 설계하였습니다. BERT 모델을 BiLSTM 내에 통합하여 시연하고, 명명된 개체 인식(Named Entity Recognition, NER), 품사 태깅(Part of Speech, POS) 태깅, 그리고 End-to-End 기반 감성 분석(End-to-End Aspect-Based Sentiment Analysis, E2E-ABSA) 등 9개의 시퀀스 라벨링 데이터셋에 대해 철저한 실험을 수행한 결과, 모든 검토된 데이터셋에서 F1 점수와 정확도가 크게 향상됨을 확인할 수 있었습니다.