VERA는 듀크 대학교가 어도비와 협력하여 2025년에 공개한 대규모 멀티태스크 음성 데이터 세트로, 원어민의 음성 추론 능력을 평가하도록 설계되었습니다. 관련 연구 논문의 제목은 "추론 능력에 대한 음성 평가: 모달리티에 따른 성과 격차 진단목표는 음성 기반 조건에서 대규모 모델의 추론 능력을 평가하는 것입니다.

이 데이터 세트에는 2,931개의 네이티브 음성 추론 샘플(에피소드)이 포함되어 있으며, 이는 작업 특성에 따라 5개 트랙으로 구분됩니다.

• 수학(115개 항목): AIME 2025의 경쟁 수학 문제
• 웹(1,107개 항목): BrowseComp의 웹 브라우징 및 정보 검색 작업
• 과학(161개 항목): GPQA Diamond를 기반으로 한 대학원 수준의 과학 문제입니다.
• 장문맥(548개 항목): MRCR의 다중 라운드 장문 텍스트 독해 과제
• 사실 기반(1,000개 항목): SimpleQA를 기반으로 한 사실 기반 질문과 답변입니다.

모든 샘플은 원어민 음성 형태로 제공되며, Boson Higgs Audio 2로 합성된 오디오를 통해 일관되고 명확하며 고품질의 음성 성능을 보장합니다. 데이터 세트에 있는 각 샘플의 audio_file 필드는 해당 오디오 경로를 가리킵니다.

데이터 구조:

데이터는 JSON 형식으로 구성되며, 각 에피소드에는 완전한 음성 추론 샘플이 포함되어 있습니다. 핵심 필드는 다음과 같습니다.

• id: 고유 식별자
• 트랙: 해당 트랙(수학적 추론/웹/과학/긴 맥락/사실적)
• 턴: 다음을 포함한 여러 대화 라운드:
  • 역할(사용자에게 고정됨)
  • text_content(Base64 암호화 텍스트)
  • audio_file(해당 오디오 경로)
  • prefix_text 및 postfix_text(비어 있을 수 있음)
• context_documents: 보충적인 맥락적 자료(있는 경우)
• 중단: 이벤트 로깅 중단
• metadata.expected_answer: 암호화된 참조 답변
• 카나리아: 이 샘플에 대한 고유한 복호화 키입니다.