HyperAIHyperAI

Command Palette

Search for a command to run...

Console
5 天前

EMMA:基于统一架构的高效多模态理解、生成与编辑

Xin He Longhui Wei Jianbo Ouyang Lingxi Xie Qi Tian

EMMA:基于统一架构的高效多模态理解、生成与编辑

摘要

我们提出EMMA,一种高效且统一的多模态理解、生成与编辑架构。具体而言,EMMA主要包含以下四个核心设计:1)一种高效的自编码器,具有32倍的压缩比,显著减少了生成任务所需的标记数量。该设计通过在图像处理中采用相同的压缩比,有效平衡了理解与生成任务之间的训练过程。2)在视觉理解与生成标记之间采用通道维度拼接(channel-wise concatenation),而非传统的标记维度拼接(token-wise concatenation),进一步降低了统一架构中的视觉标记数量。3)一种共享与解耦相结合的网络结构,能够在满足各任务特定建模需求的同时,实现任务间的相互促进与性能提升。4)在视觉理解编码器中引入专家混合机制(mixture-of-experts),仅以少量参数增加显著提升了感知能力。大量实验表明,EMMA-4B在效率与性能两方面均显著优于当前最先进的统一多模态方法(如BAGEL-7B),同时在多项指标上与近期领先的多模态理解与生成专家模型(如Qwen3-VL和Qwen-Image)相比也展现出具有竞争力的表现。我们相信,EMMA为未来统一多模态架构的发展奠定了坚实基础。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供