模态生成器（Modality Generator，简称 MG）是多模态学习系统中的一个关键组件，它的主要作用是生成不同模态的输出，例如图像、视频或音频。在多模态模型的上下文中，模态生成器通常与模态编码器（Modality Encoder，简称 ME）、输入投影器（Input Projector，简称 IP）、大模型基座（LLM Backbone）和输出投影器（Output Projector，简称 OP）等其他组件协同工作，以实现对多模态数据的理解和生成。

模态生成器的具体实现可能包括但不限于以下几种技术或模型：

• 图像生成：如 Stable Diffusion，这是一种基于扩散模型的图像生成技术。
• 视频生成：如 Zeroscope，专注于视频内容的生成。
• 音频生成：如 AudioLDM，用于生成音频信号。