HyperAIHyperAI

Command Palette

Search for a command to run...

MMR1: 분산 인지 샘플링과 오픈 리소스를 통한 다중모달 추론 강화

초록

대규모 다중모달 추론 모델은 빠른 발전을 이뤘지만, 두 가지 주요한 한계로 인해 발전이 제한되고 있다. 첫째, 개방형이며 대규모이며 고품질의 긴 사고 흐름(Chain-of-Thought, CoT) 데이터의 부재이며, 둘째, 후기 훈련 과정에서 강화학습(Reinforcement Learning, RL) 알고리즘의 불안정성이다. RL 미세조정의 표준 프레임워크인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 보상 분산이 낮을 경우 기울기 소실(gradient vanishing) 현상에 취약하여 최적화 신호가 약화되고 수렴 성능이 저하된다. 본 연구는 다음과 같은 세 가지 기여를 한다. (1) 보상 분산을 증진시키고 정책 최적화를 안정화하기 위해, 결과 분산과 경로 다양성을 결합한 분산 인식 샘플링(Variance-Aware Sampling, VAS) 기법을 제안한다. 이는 분산 촉진 점수(Variance Promotion Score, VPS)를 기반으로 한 데이터 선택 전략이다. (2) 품질, 난이도, 다양성을 보장하기 위해 설계된 약 160만 개의 긴 CoT 초기 시작 데이터와 약 15,000개의 RL QA 쌍을 포함한 대규모이고 철저히 정제된 자료를 공개한다. 더불어 완전히 재현 가능한 엔드투엔드 훈련 코드베이스도 함께 제공한다. (3) 다양한 규모의 다중모달 추론 모델 세트를 오픈소스로 제공하여 연구 공동체를 위한 표준 기준을 구축한다. 수학적 추론 벤치마크를 대상으로 수행한 실험 결과는 정제된 데이터와 제안된 VAS의 효과성을 입증한다. 포괄적인 아블레이션 연구 및 분석을 통해 각 구성 요소의 기여도에 대한 심층적인 통찰을 제공한다. 또한, 이론적으로 보상 분산이 기대 정책 기울기 크기의 하한을 제공함을 입증하였으며, VAS는 이 보장을 실현하는 실용적 메커니즘으로 기능함을 보였다. 본 연구의 코드, 데이터 및 체크포인트는 https://github.com/LengSicong/MMR1 에서 공개되어 있다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
MMR1: 분산 인지 샘플링과 오픈 리소스를 통한 다중모달 추론 강화 | 문서 | HyperAI초신경