DART-Math: 수학 문제 해결을 위한 난이도 인식 거부 조정

수학 문제 해결은 고급 추론 능력을 요구하며, 대형 언어 모델에게는 눈에 띄는 도전 과제를 제시합니다. 이전 연구에서는 주로 소유권이 있는 모델에서 데이터를 합성하여 기존 데이터셋을 확장한 후, 지시 조정을 통해 최상의 결과를 달성하는 방법을 사용했습니다. 그러나 이러한 데이터셋의 분석 결과, 쉬운 쿼리에 대한 심각한 편향성이 발견되었으며, 가장 어려운 쿼리에 대해 올바른 응답을 생성하지 못하는 경우가 자주 발생했습니다. 어려운 쿼리가 복잡한 추론을 배우는 데 중요하다고 가정하고, 우리는 합성 단계에서 어려운 쿼리에 더 많은 시도를 할당하는 방법인 난이도 인식 거부 조정(Difficulty-Aware Rejection Tuning, DART)을 제안합니다. DART를 활용하여, 우리는 더 어려운 쿼리에 초점을 맞추고 이전 데이터셋보다 현저히 작은 새로운 수학 문제 해결용 데이터셋을 만들었습니다. 특히, 우리의 합성 과정은 7B 크기의 오픈 웨이트 모델에만 의존하며, 일반적으로 사용되는 소유권이 있는 GPT-4를 사용하지 않습니다. 우리는 7B부터 70B까지 다양한 크기의 기본 모델들을 우리의 데이터셋으로 미세 조정하여 DART-MATH라는 일련의 강력한 모델들을 생성하였습니다. 6개의 수학 벤치마크에서 수행된 포괄적인 영역 내 및 영역 외 평가에서 DART-MATH는 일반적인 거부 조정보다 크게 우수하며, 훨씬 작은 데이터셋과 소유권이 없는 모델만을 사용함에도 불구하고 이전 연구들과 비교해 우월하거나 유사한 성능을 보였습니다. 또한, 우리의 결과는 우리의 합성 데이터셋이 공개적으로 이용 가능한 자원 중 수학 문제 해결을 발전시키는 데 가장 효과적이고 비용 효율적임을 입증합니다.