Command Palette

Search for a command to run...

4달 전

수학 문제 내부 관계 모델링을 위한 다양한 기능적 다중 헤드 어텐션 기법

{Lei Wang Jipeng Zhang Bing Tian Dai Yan Wang Jierui Li Dongxiang Zhang}

수학 문제 내부 관계 모델링을 위한 다양한 기능적 다중 헤드 어텐션 기법

초록

수학 단어 문제(MWP)를 자동으로 해결하기 위한 여러 가지 딥러닝 모델이 제안되어 왔다. 이러한 모델들은 수동적인 노력 없이 특징을 추출할 수 있는 능력을 지니고 있지만, MWP에 특화되지 않은 방식으로 특징을 추출한다. 딥러닝 모델의 장점을 살리면서도 MWP의 고유한 특징을 동시에 고려하기 위해, 본 연구에서는 MWP 내에서 전역 특징, 양과 관련된 특징, 양 쌍에 대한 특징, 질문과 관련된 특징을 각각 효과적으로 추출할 수 있는 그룹 어텐션 메커니즘을 제안한다. 실험 결과, 제안하는 방법은 기존 최고 성능 모델들보다 유의미하게 우수한 성능을 보였으며, Math23K 데이터셋에서 학습-테스트 분할 시 성능을 66.9%에서 69.5%로, 5겹 교차 검증 시 65.8%에서 66.9%로 향상시켰고, MAWPS 데이터셋에서는 69.2%에서 76.1%로 크게 향상시켰다.

벤치마크

벤치마크방법론지표
math-word-problem-solving-on-math23kGROUP-ATT
Accuracy (5-fold): 66.9
Accuracy (training-test): 69.5

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp