계층적으로 정제된 라벨 주의 네트워크(Hierarchically-Refined Label Attention Network)를 이용한 시퀀스 라벨링

CRF는 통계적 시퀀스 라벨링을 위한 강력한 모델로 사용되어 왔습니다. 그러나 신경망 시퀀스 라벨링에서는 BiLSTM-CRF가 BiLSTM-softmax 로컬 분류에 비해 항상 더 나은 결과를 가져오는 것은 아닙니다. 이는 CRF의 단순 마르코프 라벨 전이 모델이 강력한 신경망 인코딩보다 많은 정보 이득을 제공하지 않기 때문일 수 있습니다. 더욱 효과적인 라벨 시퀀스 표현을 위해 우리는 계층적으로 정교화된 라벨 어텐션 네트워크를 조사하였습니다. 이 네트워크는 명시적으로 라벨 임베딩을 활용하여 계층적 어텐션을 통해 각 단어에 점진적으로 정교화된 라벨 분포를 부여함으로써 잠재적인 장기적인 라벨 의존성을 포착합니다. 품사 태깅, 개체명 인식 및 CCG 슈퍼태깅에서의 실험 결과는 제안된 모델이 유사한 파라미터 수로 전체 태깅 정확도를 향상시키면서, BiLSTM-CRF에 비해 학습과 테스트 속도를 크게 향상시키는 것을 보여주었습니다.