Xin He Longhui Wei Jianbo Ouyang Lingxi Xie Qi Tian

摘要
我们提出EMMA,一种高效且统一的多模态理解、生成与编辑架构。具体而言,EMMA主要包含以下四个核心设计:1)一种高效的自编码器,具有32倍的压缩比,显著减少了生成任务所需的标记数量。该设计通过在图像处理中采用相同的压缩比,有效平衡了理解与生成任务之间的训练过程。2)在视觉理解与生成标记之间采用通道维度拼接(channel-wise concatenation),而非传统的标记维度拼接(token-wise concatenation),进一步降低了统一架构中的视觉标记数量。3)一种共享与解耦相结合的网络结构,能够在满足各任务特定建模需求的同时,实现任务间的相互促进与性能提升。4)在视觉理解编码器中引入专家混合机制(mixture-of-experts),仅以少量参数增加显著提升了感知能力。大量实验表明,EMMA-4B在效率与性能两方面均显著优于当前最先进的统一多模态方法(如BAGEL-7B),同时在多项指标上与近期领先的多模态理解与生成专家模型(如Qwen3-VL和Qwen-Image)相比也展现出具有竞争力的表现。我们相信,EMMA为未来统一多模态架构的发展奠定了坚实基础。