Command Palette
Search for a command to run...
통합 다중모달 모델을 위한 아키텍처 분리만으로는 충분하지 않다
통합 다중모달 모델을 위한 아키텍처 분리만으로는 충분하지 않다
초록
이미지 생성과 이해를 통합하는 다중모달 모델은 AGI(일반 인공지능)로의 중요한 발걸음이며, 연구자들 사이에서 광범위한 관심을 끌고 있다. 이 과제의 주요 과제는 이해(understanding)와 생성(generation) 작업 간 내재된 모순된 목표로 인해 최적의 학습 패러다임을 수립하는 것이 어렵다는 점에 있다. 이러한 갈등을 완화하고 성능을 향상시키기 위해 많은 연구자들이 다양한 수준의 모델 분리(예: 이중 이미지 인코더, MOE/MOT 아키텍처, 고정된 MLLM 등)를 채택하고 있다. 그러나 과도한 모델 분리는 다중모달 간의 혼합 생성 능력의 손실을 초래할 수 있으며, 이는 통합 모델의 본래 목적을 약화시킨다. 본 연구에서는 모델 분리를 활용하지 않고도 작업 간 갈등을 완화할 수 있는 방법을 탐구한다. 먼저, 모델의 다중모달 주의(attention) 행동을 분석함으로써, 왜 모델 분리가 갈등을 완화하는지 살펴본다. 그 결과, 모델 분리는 Qwen-VL 및 HunyuanImage와 같이 작업 특화된 다중모달 상호작용 패턴으로 모델을 유도한다는 것을 관찰하였으며, 분리가 깊을수록 이러한 행동의 일관성이 더욱 강화됨을 확인하였다. 이러한 관찰에 착안하여, 학습 과정에서 작업 특화된 다중모달 상호작용 패턴을 명시적으로 학습하는 Attention Interaction Alignment(AIA) 손실 함수를 제안한다. 제안한 AIA 손실의 일반화 능력을 입증하기 위해, SFT(사후 학습) 단계와 후처리 단계에서 각각 Emu3와 Janus-Pro에 적용하였다. 복잡한 기법 없이도 AIA는 다중모달 주의 패턴을 정교화할 뿐만 아니라, 생성 및 이해 성능 모두를 향상시켰다.