PhraseTransformer: 시퀀스-투-시퀀스 의미 분석에 국소적 맥락 정보를 통합하는 방법

의미 구문 분석(Semantic parsing)은 자연어 문장을 기계가 이해할 수 있는 정보 표현으로 변환하는 어려운 과제이다. 최근 신경 기계 번역(NMT) 기반의 접근법이 많은 성과를 거두었으며, 특히 Transformer 모델이 두드러진 성능을 보였다. 그러나 기존의 Transformer를 의미 구문 분석에 적용할 때의 주요 단점은 문장의 의미를 구성하는 데 핵심적인 역할을 하는 어절(phrase) 정보를 고려하지 않는다는 점이다. 이를 보완하기 위해 우리는 문장 내 어절 간의 의존 관계를 학습함으로써 더 세밀한 의미 표현이 가능한 아키텍처인 PhraseTransformer를 제안한다. 본 연구의 핵심 아이디어는 원래 Transformer의 자기 주의(Self-Attention) 메커니즘에 장기 기억망(LSTM)을 통합하여 단어의 국소적 맥락(local context)을 효과적으로 포착하는 것이다. 실험 결과, 제안된 모델은 문장 구조 이해 및 논리적 표현 측면에서 기존 Transformer보다 우수한 성능을 보였으며, 외부 트리 구조 정보 없이도 모델의 국소 맥락 인지 능력이 향상됨을 입증하였다. 또한 순환 구조를 도입했음에도 불구하고, PhraseTransformer의 순차적 연산 횟수는 여전히 기존 Transformer와 마찬가지로 O(1) 수준을 유지한다. 제안된 모델은 Geo 및 MSParS 데이터셋에서 강력한 경쟁력을 보이며, 신경망 기반 방법 중 Atis 데이터셋에서 최고 성능(SOTA)을 기록하였다. 또한 본 모델의 일반화 능력을 입증하기 위해 IWLST14 독일어-영어, IWSLT15 베트남어-영어, WMT14 영어-독일어 등 세 가지 번역 데이터셋에서도 광범위한 실험을 수행하였으며, 의미적으로 유의미한 성능 향상이 나타났다. 본 연구의 코드는 다음 주소에서 공개되어 있다: https://github.com/phuongnm94/PhraseTransformer.git.