Command Palette
Search for a command to run...
Boogu-Image-0.1:推动开源统一多模态理解与生成
Boogu-Image-0.1:推动开源统一多模态理解与生成
摘要
我们推出Boogu-Image-0.1,一个开源统一多模态理解与生成模型系列,包含Base、Turbo、Edit和Edit-Turbo变体。它在高质量文本到图像生成、快速推理、基于指令的编辑以及中英双语文本渲染方面展现出具有竞争力的性能。像Nano-Banana-Pro和GPT-Image-2这样的闭源多模态系统通过系统级集成而非单一模型实现了强大性能,但其内部实践大多未公开。本工作中,我们证明,即使在高度受限的计算预算下,针对模型理解、数据质量和训练流程的定向改进,结合智能体推理时扩展,也能显著提升生成和编辑性能。全面评估显示,Boogu-Image-0.1在标准基准测试中始终匹配或超越其他开源模型,并取得接近领先闭源系统的结果。值得注意的是,这仅使用了2.0862亿张独特图像。基础模型的理论训练成本仅约40万美元。我们分享了我们认为对更广泛研究社区有价值的实践讨论,并根据Apache 2.0协议发布权重、代码和配方,以推动统一多模态理解与生成的开源生态系统。我们的代码可在此获取:https://github.com/Boogu-Project/Boogu-Image。
一句话总结
Boogu团队、Celia大模型应用实验室、华为技术以及来自香港多所大学的合作者共同推出Boogu-Image-0.1,一个开源统一多模态模型系列,包含Base、Turbo、Edit和Edit-Turbo变体。通过改进理解能力、数据质量、训练流程和agentic推理时扩展,该模型仅使用2.0862亿张唯一图像和约40万美元的训练成本,实现了具有竞争力的高质量文本到图像生成、快速推理、基于指令的编辑以及中英文双语文本渲染,在标准基准上匹配或超越其他开源模型,并接近领先的闭源系统,同时以Apache 2.0协议发布权重、代码和配方。
核心贡献
- Boogu-Image-0.1是一个开源统一多模态模型系列,联合优化图像理解和生成,通过将复杂的用户意图转化为高保真图像,从文本到图像转向需求到图像。
- 在模型理解、数据质量和训练流程方面的针对性改进,结合agentic推理时扩展,在有限的计算预算下大幅提升了生成和编辑性能,仅使用2.0862亿张唯一图像和约40万美元的训练成本。
- 综合评估表明,Boogu-Image-0.1在标准基准上匹配或超越其他开源模型,在Qwen-Image-Bench上取得了最先进的开源结果,并接近NanoBanana-Pro等闭源系统,权重、代码和配方以Apache 2.0协议发布。
引言
作者们指出图像生成正从简单的文本到图像转向需求到图像,模型必须解读复杂的用户意图、隐含约束和跨模态线索,而不仅仅是单一的描述性提示。闭源系统在这方面表现出色,但开源工作在忠实翻译细致指令方面仍然滞后,许多关键的工程实践(评估、描述设计、数据过滤)仍不透明,迫使团队进行代价高昂的试错。作者们贡献了Boogu-Image-0.1,一个将“理解”作为首要设计目标的开源系统,结合了强大的多语言视觉-语言文本编码器、agentic提示重写(在推理时进行模型选择和反思),以及仅使用2.08亿张图像的高成本效益训练。这种整合实现了最先进的开源性能,使开源模型更接近闭源质量,同时记录实际细节以降低未来研究的门槛。
数据集
作者们通过结合公开可用的图像-文本语料库和手工制作的“教学大纲”来构建Boogu-Image的训练数据。最终数据集包含2.0862亿张唯一图像,由两个主要部分组成:
- 开源混合(1.87亿张图像) – 来自COYO、DataComp、PixelProse、BLIP-3o和OmniCorpus的单一图像-文本对和交错文本-图像文档的集合。这些描述通常简短且嘈杂,数据存在重复和语义错误。
- Boogu教学大纲(2162万唯一样本) – 根据人类先验知识构建的精选集。它系统地解构视觉领域(例如,平面设计分解为排版、海报设计、标志构图),并注入稀有概念、详细描述和负面视觉元素。在训练过程中,这部分通过预定义的加权比例被上采样至4719万有效示例,特别强调复杂、长尾任务。
关键处理细节
- 有缺陷的图像被保留,而非过滤。 带有水印、模糊、曝光不足或噪声的样本被保留,并配以明确命名缺陷的描述(例如,“运动模糊”,“可见水印”)。这教会模型视觉内容和伪影的概念,从而能够可控地生成或避免此类缺陷。
- 中文文本渲染的词汇枚举。 为了可靠地生成汉字,每个字符必须在训练数据中出现至少300次。出于实际资源限制,优先考虑3500个最常用的现代汉字,并反复包含以确保日常文本渲染。
- 描述质量。 开源描述较为浅显;教学大纲依赖更丰富、合成或人工精炼的描述,捕捉细粒度属性、空间关系和缺陷。
数据的使用方式 完整集合(1.87亿开源图像 + 2162万教学大纲图像)作为Boogu-Image模型的预训练数据。在训练混合中,教学大纲样本被上采样至4719万实例,因此模型实际看到约2.34亿训练示例。实验表明,使用这种结合了人类先验指导的数据训练的模型在指令遵循、世界知识和摄影质量方面显著优于仅使用1.87亿开源数据训练的模型。
方法
作者们提出了Boogu,一个以理解为核心架构的文本到图像系统,旨在优化生成质量和计算效率。该框架将理解过程分解为三个互补维度:解读用户意图、理解训练图像和估计任务复杂度。这种多层面的方法解决了文本到图像流程中的常见失败模式,如模糊提示、训练监督不足和资源分配低效。
为了弥合不完整的用户输入与生成模型所需的结构化条件之间的差距,作者们采用了一个agentic提示重写器。与不加区分地扩展提示并可能产生幻觉的传统重写器不同,该模块充当意图的翻译器。它将重写视为一个推理过程,解决歧义,处理隐含描述,并应对精确计数、NSFW内容过滤和文本渲染等特定挑战。一个关键设计原则是,重写器的下限是恒等变换。如果提示已经清晰,则保持不变,确保重写只会有帮助,而不会降低原始意图。
该提示重写模块的有效性在很大程度上取决于底层的视觉-语言模型骨干。具有更丰富世界知识和推理能力的更强模型会产生更连贯且忠实于意图的重写。
如上图所示,模型大小与通过重写获得的优势分数之间存在明显的正相关关系。此外,具备推理能力的重写器在多个挑战性类别中提供了显著的性能提升,包括计数、信息图表、一般推理、NSFW过滤和场景文本渲染。
在训练方面,作者们强调描述策略从根本上决定了模型能学到什么。为了确保高保真的图像-描述对齐,他们实施了一个按方面划分的描述流程。作者们没有依赖单一的VLM或系统提示(这通常会导致对象计数、空间关系或属性绑定的不准确),而是系统地基准测试了多个候选VLM。对于每个感兴趣的特定方面,他们选择产生最佳准确性的模型和提示配置,并将这些输出聚合为一个统一的、需求驱动的描述。对于即使强大的VLM也难以处理的维度,则使用专家模型或人工标注员。这种有针对性的监督防止了系统性盲点,并将所需能力直接注入模型权重。
最后,为了在推理过程中管理质量与效率之间的权衡,系统纳入了复杂度感知路由。通过显式估计每个请求的难度,Boogu将简单任务导向轻量级模型,并将最强的生成器保留给需要深度推理或高保真合成的复杂情况,从而在保持高平均质量的同时控制计算预算。
实验
实验部分通过自定义的Boogu Arena使用成对人类Elo评分,以及多个公共基准(包括Qwen-Image-Bench和LongText-Bench)评估文本到图像和图像编辑能力。Boogu模型持续优于开源基线并接近顶级闭源系统,其中Thinking变体通过显式推理在文本渲染和复杂编辑方面取得了显著提升。定性比较展示了强大的提示对齐、照片真实感和稳定的密集文本生成,而消融研究强调了能力强的指令编码器、面向翻译的提示重写器、教学大纲引导的数据策展以及2D感知引导的重要性。该工作还批评了饱和和泄露的基准,强调需要与人类对齐、成本感知和场景驱动的评估来捕捉实际效用。
在中文提示的Qwen-Image-Bench上评估的开源模型中,Boogu-Image-0.1-Base-Thinking取得了最高的总分,超越了Qwen-Image-2512和HunyuanImage-3.0等强大基线。Thinking变体在创造力维度上带来了大幅提升,相比非Thinking版本提高了超过8分。这些提升在中英文中保持一致,表明强大的双语性能。Boogu-Image-0.1-Base-Thinking在中文提示基准上领先所有开源模型。Thinking变体在创造力方面比非Thinking对应版本提高了超过8分。性能优势在中英文中均持续存在,显示出强大的双语能力。该模型超越了Qwen-Image-2512和HunyuanImage-3.0等开源基线。
在英文提示测试的开源模型中,Boogu-Image-0.1-Base-Thinking获得了最高的总分,超越了Qwen-Image-2512和HunyuanImage-3.0等强大基线。Thinking变体在创造力维度上带来了显著提升,这与理解的设计重点一致,并反映了中文评估中看到的相同模式。Boogu-Image-0.1-Base-Thinking在英文Qwen-Image-Bench上排名所有开源模型第一。Thinking版本相比非Thinking对应版本实现了大幅创造力提升,这一趋势在不同语言中保持稳定。
Boogu-Image模型系列在LongText-Bench上表现具有竞争力,Turbo变体在中文总分中排名第二,并在开源模型中取得了强劲的平均结果。然而,该基准严重奖励短文本的OCR级别正确性,导致Turbo在密集布局中产生视觉伪影的情况下仍得分较高,而Base模型实际上渲染出更连贯的排版。Boogu-Image-0.1-Turbo-Thinking在所有评估系统中取得了第二高的中文分数(0.985),仅次于闭源的Seedream-4.5。在密集文本场景中,Base模型生成的文本比Turbo更连贯,但Turbo仍保持高基准分数,因为该指标主要检查100个字符以内序列的文本准确性,而非整体视觉质量。
Boogu-Image模型在GenEval上的总分在0.84到0.85之间,略低于HiDream-O1-Image(0.90)和GPT-Image-2(0.89)等顶级系统。作者们提醒,GenEval与人类偏好存在显著差异,并未用于主要评估,因此这些结果仅作为补充参考。Boogu-Image-0.1-Base、Turbo和Turbo-Think的总分都集中在较窄的范围内(0.84–0.85),其中Base略占优势。所有Boogu变体在单对象(0.99–1.00)和双对象(0.94–0.97)上表现强劲,但在属性(0.60–0.68)上持续落后。与开源替代方案相比,Qwen-Image(0.87)和FLUX.2(0.87)在总体指标上超过了Boogu系列。论文明确指出GenEval与真实人类偏好存在显著差距,并未采用为主要评估。
在DPG-Bench上,HiDream-O1-Image取得了最高的总分,随后是一组总分接近的模型。Boogu-Image-0.1-Turbo排名第四,特别是在关系类别中表现出竞争力,而其全局得分相对较低。这些结果仅作为补充参考,因为DPG-Bench与真实人类偏好存在显著差距。HiDream-O1-Image在全局子分数上以较大优势领先,贡献了其最高总分。Boogu-Image-0.1-Turbo在所有模型中取得了第二高的关系分数,超过了多个闭源竞争对手。全局类别是Boogu-Image-0.1-Turbo的相对弱点,其得分低于除一个模型外的所有其他模型。
Boogu-Image模型在多个基准上进行了评估,包括Qwen-Image-Bench、LongText-Bench、GenEval和DPG-Bench。Thinking变体在中英文中持续提升创造力分数,Base-Thinking模型在Qwen-Image-Bench上取得了开源模型中最高的总体结果。在LongText-Bench上,Turbo变体取得了强劲的中文分数,但该指标奖励短文本OCR准确性而忽视视觉伪影,而Base模型在密集布局中渲染出更连贯的排版。GenEval和DPG-Bench的结果是补充性的,因为作者们指出这些基准与人类偏好存在差异;Boogu-Image模型表现具有竞争力但并非顶尖,优势在于对象渲染,相对弱点在于属性绑定和全局构图。