SPHINX：多模态大语言模型中的权重、任务和视觉嵌入的联合混合

我们介绍了SPHINX，一种具有联合模型权重混合、调优任务和视觉嵌入的多功能多模态大语言模型（MLLM）。首先，为了实现更强的视觉-语言对齐，我们在预训练过程中解冻了大语言模型（LLM），并引入了一种在真实数据和合成数据训练的LLM之间进行权重混合的策略。通过直接整合来自两个领域的权重，混合后的LLM能够高效地融合多样化的语义，并具备良好的鲁棒性。其次，为了实现多用途能力，我们对多种任务进行了联合视觉指令调优，并设计了特定任务的指令以避免任务间的冲突。除了基本的视觉问答外，我们还纳入了更具挑战性的任务，如区域级理解、字幕定位、文档布局检测和人体姿态估计，这些任务有助于在不同场景中实现相互增强。此外，我们提出从不同的网络架构、预训练范式和信息粒度中提取全面的视觉嵌入，为语言模型提供更强大的图像表示。基于我们提出的联合混合策略，SPHINX在广泛的应用中展示了卓越的多模态理解能力。在此基础上，我们进一步提出了一种高效的策略，旨在更好地捕捉高分辨率图像的细粒度特征。通过混合不同尺度和高分辨率子图，SPHINX在现有的评估基准上取得了出色的视觉解析和推理性能。我们希望我们的工作能够为未来MLLM研究中的联合混合探索提供启示。代码已发布在https://github.com/Alpha-VLLM/LLaMA2-Accessory。