BERT를 신경망 기반 기계 번역에 통합하기

최근 제안된 BERT는 텍스트 분류, 독해 이해 등 다양한 자연어 이해 작업에서 뛰어난 성능을 보여주고 있다. 그러나 BERT를 신경망 기반 기계 번역(NMT)에 효과적으로 적용하는 방법에 대해서는 충분한 탐색이 이루어지지 않았다. 일반적으로 BERT는 하류 자연어 이해 작업에서 컨텍스트 임베딩 대신 미세조정(fine-tuning)에 더 널리 사용되지만, NMT 작업에서는 BERT를 컨텍스트 임베딩으로 사용하는 우리의 초기 탐색 결과가 미세조정을 사용하는 것보다 더 우수한 성능을 보였다. 이에 따라 우리는 이러한 방향에서 BERT를 보다 효과적으로 NMT에 활용할 수 있는 방법을 고민하게 되었고, 이를 위해 새로운 알고리즘인 BERT-융합 모델(BERT-fused model)을 제안한다. 이 모델은 입력 시퀀스에 대해 먼저 BERT를 이용해 표현을 추출한 후, 이를 NMT 모델의 인코더 및 디코더 각 레이어에 주의 메커니즘(attention mechanism)을 통해 융합한다. 우리는 감독학습(문장 수준 및 문서 수준 번역 포함), 반감독학습 및 비감독학습 기계 번역에 대한 실험을 수행하였으며, 7개의 벤치마크 데이터셋에서 최고 성능(SOTA)을 달성하였다. 본 연구의 코드는 \url{https://github.com/bert-nmt/bert-nmt}에서 공개되어 있다.