AIN: 근사 추론 네트워크를 활용한 빠르고 정확한 시퀀스 레이블링

선형 체인 조건부 확률장(CRF) 모델은 가장 널리 사용되는 신경망 시퀀스 레이블링 방법 중 하나이다. CRF 모델의 학습 및 예측 단계에서는 일반적으로 정확한 확률적 추론 알고리즘인 전방-후방 알고리즘과 비터비 알고리즘이 활용된다. 그러나 이러한 알고리즘은 순차적 계산을 필요로 하여 병렬화가 불가능하다. 본 논문에서는 CRF 모델에 대해 병렬화 가능한 근사 변분 추론 알고리즘을 도입하는 것을 제안한다. 이 알고리즘을 기반으로, 신경 CRF 모델의 인코더와 연결될 수 있는 근사 추론 네트워크를 설계하였으며, 이를 통해 엔드투엔드(end-to-end) 구조의 네트워크를 구성할 수 있다. 이 구조는 더 빠른 학습과 예측을 위해 병렬화가 가능하다. 실험 결과, 제안하는 방법은 긴 문장 처리 시 디코딩 속도를 12.7배 향상시키며, 기존 CRF 방법과 경쟁 가능한 정확도를 달성함을 확인하였다.