Command Palette
Search for a command to run...
{Gahgene Gweon Sangkyu Rhim Kyung Seo Ki Bugeun Kim}

초록
이 논문에서는 대수적 단어 문제를 해결하기 위해 자연어 설명을 활용하는 신경망 모델인 EPT-X(Expression-Pointer Transformer with Explanations)을 제안한다. 신경망 모델의 인코딩 과정의 설명 가능성(Explainability)을 향상시키기 위해, EPT-X는 인간이 수학적 단어 문제를 해결할 때 사용하는 전략에서 영감을 얻은 타당성(Plausibility)과 충실성(Faithfulness) 개념을 도입한다. 타당한 설명은 주어진 수학적 단어 문제에 등장하는 수치와 변수에 대한 맥락 정보를 포함하는 설명을 의미하며, 충실한 설명은 모델의 해답 식에 뒷받침되는 추론 과정을 정확히 반영하는 설명을 의미한다. EPT-X 모델은 본 연구에서 제안한 PEN 데이터셋에서 평균 기준 성능(69.59%)을 달성하며, 생성하는 설명의 품질도 인간의 출력 수준과 비교할 만큼 높은 수준을 보인다. 본 연구의 기여는 두 가지 측면에서 이루어진다. (1) EPT-X 모델: 모델의 정확도, 타당성, 충실성 측면에서 대수적 단어 문제 해결 작업에 대한 기준선(Baseline)을 제시하는 설명 가능한 신경망 모델. (2) 새로운 데이터셋: 각 수치/변수에 설명을 부착함으로써 기존 데이터셋을 확장한 새로운 데이터셋 PEN(Problems with Explanations for Numbers)을 공개한다.
벤치마크
| 벤치마크 | 방법론 | 지표 |
|---|---|---|
| math-word-problem-solving-on-alg514 | EPT-X | Accuracy (%): 67.07 |
| math-word-problem-solving-on-alg514 | EPT | Accuracy (%): 73.91 |
| math-word-problem-solving-on-draw-1k | EPT-X | Accuracy (%): 56 |
| math-word-problem-solving-on-draw-1k | EPT | Accuracy (%): 63.5 |
| math-word-problem-solving-on-mawps | EPT | Accuracy (%): 88.7 |
| math-word-problem-solving-on-mawps | EPT-X | Accuracy (%): 84.57 |
| math-word-problem-solving-on-pen | EPT-X | Accuracy (%): 69.59 |