11일 전

엘라스틱: 적응형 기호 컴파일러를 이용한 수치 추론

Jiaxin Zhang, Yashar Moshfeghi
엘라스틱: 적응형 기호 컴파일러를 이용한 수치 추론
초록

텍스트 기반 수치 추론은 인공지능(AI) 분야에서 도전적인 과제로, 독해 능력과 수치 추론 능력이 요구된다. 기존의 접근 방식은 수치 추론 과정을 수치 추론 프로그램으로 표현하는 방식을 사용해 왔다. 그러나 대부분의 기존 연구는 수치 추론 프로그램의 핵심 구성 요소인 연산자(operator)와 피연산자(operand)의 생성을 분리하지 않아, 복잡한 과제에 대한 프로그램 생성 능력에 한계가 있었다. 본 논문에서는 RoBERTa를 인코더로 사용하고, 추론 매니저(Reasoning Manager), 연산자 생성기(Operator Generator), 피연산자 생성기(Operands Generator), 메모리 레지스터(Memory Register)의 네 가지 모듈로 구성된 적응형 기호 컴파일러(Adaptive Symbolic Compiler)를 갖춘 numEricaL reASoning with adapTive symbolIc Compiler (ELASTIC) 모델을 제안한다. ELASTIC은 복잡한 추론 과정에서도 뛰어난 안정성을 보이며, 연산자의 종류를 다양하게 확장할 수 있는 특성 덕분에 도메인 독립적이다. 또한 피연산자의 개수에 관계없이 다양한 연산자를 지원할 수 있다. 실험 결과, ELASTIC은 FinQA 데이터셋에서 실행 정확도(execution accuracy) 68.96, 프로그램 정확도(program accuracy) 65.21을 달성하였으며, MathQA 데이터셋에서는 프로그램 정확도 83.00을 기록하여 기존 최고 성능 모델들을 크게 상회하였다.

엘라스틱: 적응형 기호 컴파일러를 이용한 수치 추론 | 최신 연구 논문 | HyperAI초신경