MetaMathQA 수학적 추론 데이터 세트

기존 오픈소스 LLM(예: LLaMA-2)의 추론 과정은 비교적 복잡하며 수학 문제를 해결하는 데 여전히 만족스럽지 않습니다. 이러한 격차를 메우기 위해 연구진은 수학적 추론에 특화된 정밀 조정 언어 모델인 MetaMath를 제안했습니다. 모델의 전방 및 역방향 추론 능력을 향상시키기 위해,케임브리지 대학교, 홍콩과학기술대학교, 화웨이의 연구진은 널리 사용되는 두 가지 수학 데이터 세트(GSM8K 및 MATH)를 기반으로 MetaMathQA 데이터 세트를 제안했습니다. 이 데이터 세트는 폭넓은 적용 범위와 높은 품질을 갖춘 수학적 추론 데이터 세트입니다. MetaMathQA는 대규모 언어 모델에 의해 생성된 395,000개의 순방향-역방향 수학 질문-답변 쌍으로 구성되어 있습니다. 그들은 MetaMathQA 데이터 세트에서 LLaMA-2를 미세 조정하여 수학적 추론(순방향 및 역방향)에 초점을 맞춘 대규모 언어 모델 MetaMath를 얻었고, 수학적 추론 데이터 세트에서 SOTA를 달성했습니다. 다양한 크기의 MetaMathQA 데이터 세트와 MetaMath 모델이 연구자들이 사용할 수 있도록 오픈 소스로 공개되었습니다.

MetaMathQA에는 4가지 데이터 증강 방법이 포함되어 있습니다.

1. 답변 증강: 질문이 주어지면 대규모 언어 모델을 사용하여 데이터 증강을 통해 정답으로 이어질 수 있는 생각의 사슬을 생성합니다.
2. 질문 재구성: 메타 질문이 주어졌을 때, 대규모 언어 모델을 통해 질문을 다시 작성하고 데이터 증강을 통해 정답으로 이어지는 생각의 사슬을 생성합니다.
3. FOBAR 질문(FOBAR 역질문 강화): 메타 질문이 주어졌을 때, 원래 답변이 주어졌을 때 조건에 있는 숫자를 x로 마스크하고 ×를 추론하여 역질문을 생성하고, 역질문을 기반으로 올바른 사고 체인 프로세스를 생성하여 데이터 증강을 수행합니다.
4. 자체 검증 질문: FOBAR를 기반으로 역 질문 부분을 대규모 언어 모델을 통해 명령문으로 다시 작성하여 데이터 증강을 수행합니다.