Command Palette

Search for a command to run...

4달 전

표현 포인터 지정: 표현 포인터 트랜스포머 모델을 이용한 대수적 단어 문제 해결

{Gahgene Gweon Donggeon Lee Kyung Seo Ki Bugeun Kim}

표현 포인터 지정: 표현 포인터 트랜스포머 모델을 이용한 대수적 단어 문제 해결

초록

대수적 단어 문제 해결은 최근 자연어 처리 분야에서 중요한 과제로 부상하고 있다. 대수적 단어 문제를 해결하기 위해 최근 연구들은 입력/출력 단위로 '{'}Op (연산자/피연산자){'}' 토큰을 사용하는 신경망 모델을 제안하였다. 그러나 이러한 신경망 모델은 두 가지 문제에 직면해 있다: 표현의 분할 문제(expression fragmentation)와 피연산자-문맥 분리 문제(operand-context separation). 이러한 두 가지 문제를 각각 해결하기 위해, 우리는 (1) '{'}Expression{'}' 토큰과 (2) 피연산자-문맥 포인터를 사용하는 순수 신경망 모델인 표현 포인터 트랜스포머(Expression-Pointer Transformer, EPT)를 제안한다. EPT 모델의 성능은 ALG514, DRAW-1K, MAWPS 세 가지 데이터셋에서 평가되었다. 기존 최고 성능(SoTA) 모델과 비교했을 때, EPT 모델은 각각 ALG514에서 81.3%, DRAW-1K에서 59.5%, MAWPS에서 84.5%의 정확도를 기록하며 유사한 성능을 달성하였다. 본 연구의 기여는 두 가지 측면에서 이루어진다. (1) 표현의 분할 문제와 피연산자-문맥 분리 문제를 동시에 해결할 수 있는 순수 신경망 모델인 EPT를 제안하였다. (2) 수작업 특징(hand-crafted features)을 사용하지 않고 완전히 자동화된 EPT 모델은 기존 수작업 특징을 활용한 모델과 비슷한 성능을 보였으며, 기존 순수 신경망 모델보다 최대 40%까지 뛰어난 성능을 달성하였다.

벤치마크

벤치마크방법론지표
math-word-problem-solving-on-alg514EPT
Accuracy (%): 81.31
math-word-problem-solving-on-draw-1kEPT
Accuracy (%): 59.5
math-word-problem-solving-on-mawpsEPT
Accuracy (%): 84.51

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
표현 포인터 지정: 표현 포인터 트랜스포머 모델을 이용한 대수적 단어 문제 해결 | 연구 논문 | HyperAI초신경