Command Palette
Search for a command to run...
통합 다중모달 모델에서 이해가 생성에 어떻게 기여하는가? 분석에서 앞으로의 방향까지
통합 다중모달 모델에서 이해가 생성에 어떻게 기여하는가? 분석에서 앞으로의 방향까지
Yuwei Niu Weiyang Jin Jiaqi Liao Chaoran Feng Peng Jin Bin Lin Zongjian Li Bin Zhu Weihao Yu Li Yuan
초록
최근 몇 년 동안 통합 다중모달 모델 분야에서는 큰 진전이 있었지만, 여전히 핵심적인 질문이 남아 있다. 즉, 이해(understanding)가 생성(generation)에 진정으로 영향을 미치는가 하는 것이다. 이 질문을 탐구하기 위해 우리는 데이터 유출을 방지하고 세부적인 분석을 가능하게 하기 위해 제어된 합성 데이터셋과 결합된 분리형(evaluation framework)인 UniSandbox를 제안한다. 우리의 연구 결과는 이해와 생성 사이에 명확한 격차가 존재함을 보여주며, 이는 주로 두 가지 핵심 차원—추론 생성(reasoning generation)과 지식 전이(knowledge transfer)—에서 두드러진다. 구체적으로 추론 생성 과제에서는 이해 모듈 내에서 명시적인 사고 과정(Chain-of-Thought, CoT)이 격차를 효과적으로 해소함을 관찰하였으며, 또한 자기학습(self-training) 접근법을 통해 이 능력을 내재화할 수 있음을 입증하여 생성 과정에서 암묵적인 추론이 가능하게 함을 보였다. 또한 지식 전이 과제에서는 CoT가 새로 습득한 지식을 검색하는 데 도움을 주어 생성 과정을 지원함을 발견하였으며, 쿼리 기반 아키텍처(query-based architectures)가 본질적으로 잠재적인 CoT 유사 특성을 지니고 있어 이러한 전이에 영향을 미친다는 점도 확인하였다. UniSandbox는 향후 이해와 생성을 진정으로 연결하는 통합 아키텍처 및 학습 전략 설계를 위한 초기 통찰을 제공한다. 코드와 데이터는 https://github.com/PKU-YuanGroup/UniSandBox 에서 공개되어 있다.