수학 문제 내부 관계 모델링을 위한 다양한 기능적 다중 헤드 어텐션 기법

수학 단어 문제(MWP)를 자동으로 해결하기 위한 여러 가지 딥러닝 모델이 제안되어 왔다. 이러한 모델들은 수동적인 노력 없이 특징을 추출할 수 있는 능력을 지니고 있지만, MWP에 특화되지 않은 방식으로 특징을 추출한다. 딥러닝 모델의 장점을 살리면서도 MWP의 고유한 특징을 동시에 고려하기 위해, 본 연구에서는 MWP 내에서 전역 특징, 양과 관련된 특징, 양 쌍에 대한 특징, 질문과 관련된 특징을 각각 효과적으로 추출할 수 있는 그룹 어텐션 메커니즘을 제안한다. 실험 결과, 제안하는 방법은 기존 최고 성능 모델들보다 유의미하게 우수한 성능을 보였으며, Math23K 데이터셋에서 학습-테스트 분할 시 성능을 66.9%에서 69.5%로, 5겹 교차 검증 시 65.8%에서 66.9%로 향상시켰고, MAWPS 데이터셋에서는 69.2%에서 76.1%로 크게 향상시켰다.