표현 포인터 지정: 표현 포인터 트랜스포머 모델을 이용한 대수적 단어 문제 해결

대수적 단어 문제 해결은 최근 자연어 처리 분야에서 중요한 과제로 부상하고 있다. 대수적 단어 문제를 해결하기 위해 최근 연구들은 입력/출력 단위로 '{'}Op (연산자/피연산자){'}' 토큰을 사용하는 신경망 모델을 제안하였다. 그러나 이러한 신경망 모델은 두 가지 문제에 직면해 있다: 표현의 분할 문제(expression fragmentation)와 피연산자-문맥 분리 문제(operand-context separation). 이러한 두 가지 문제를 각각 해결하기 위해, 우리는 (1) '{'}Expression{'}' 토큰과 (2) 피연산자-문맥 포인터를 사용하는 순수 신경망 모델인 표현 포인터 트랜스포머(Expression-Pointer Transformer, EPT)를 제안한다. EPT 모델의 성능은 ALG514, DRAW-1K, MAWPS 세 가지 데이터셋에서 평가되었다. 기존 최고 성능(SoTA) 모델과 비교했을 때, EPT 모델은 각각 ALG514에서 81.3%, DRAW-1K에서 59.5%, MAWPS에서 84.5%의 정확도를 기록하며 유사한 성능을 달성하였다. 본 연구의 기여는 두 가지 측면에서 이루어진다. (1) 표현의 분할 문제와 피연산자-문맥 분리 문제를 동시에 해결할 수 있는 순수 신경망 모델인 EPT를 제안하였다. (2) 수작업 특징(hand-crafted features)을 사용하지 않고 완전히 자동화된 EPT 모델은 기존 수작업 특징을 활용한 모델과 비슷한 성능을 보였으며, 기존 순수 신경망 모델보다 최대 40%까지 뛰어난 성능을 달성하였다.