APOLLO: 장문 수치 추론을 위한 최적화된 훈련 접근법

금융 분석 분야의 장문형 수치 추론은 주어진 질문에 대한 정답을 계산하기 위한 추론 프로그램을 생성하는 것을 목표로 한다. 기존 연구들은 검색기-생성기(framework)를 따르며, 검색기가 장문 문서에서 핵심 사실을 선별하고, 생성기가 추출된 사실을 바탕으로 추론 프로그램을 생성하는 방식을 사용해왔다. 그러나 이러한 기존 방법들은 수치를 포함하는 사실과 그렇지 않은 사실 간의 기여도 차이를 고려하지 않고 모든 사실을 동일하게 취급했다. 또한 지도 학습 환경에서 프로그램의 일관성이 간과되면서, 학습 정확도와 다양성이 저하되는 문제가 발생했다. 이러한 문제를 해결하기 위해, 본 연구에서는 장문형 수치 추론 프레임워크를 개선하기 위해 APOLLO를 제안한다. 검색기 측면에서는 수치에 민감한 부정 샘플링 전략(negative sampling strategy)을 도입하여, 핵심 수치 정보를 더 구분력 있게 추출할 수 있도록 했다. 생성기 측면에서는 프로그램 실행 결과의 일관성에 기반한 강화학습 기반의 일관성 제어 방식과 대상 프로그램 증강 전략(target program augmentation strategy)을 설계하였다. FinQA 및 ConvFinQA 리더보드에서 수행된 실험 결과를 통해 제안한 방법의 효과성을 입증하였으며, 기존 최고 성능(SOTA)을 초월하는 성능을 달성하였다.