nanoVLM 是 Hugging Face 提供的一个简单工具包，旨在帮助开发者使用纯 PyTorch 快速训练自己的多模态视觉语言模型（VLM）。该项目受到 Andrej Karpathy 的 nanoGPT 启发，专注于视觉问答作为训练目标，为初学者或希望深入了解 VLM 但不想被复杂细节淹没的开发者提供一个轻量级、易读的代码库。 什么是视觉语言模型？ 视觉语言模型（VLM）是一种处理图像和文本两种模态输入的多模态模型，可以基于对图像和文字的理解生成文本输出。这类模型的应用广泛，包括图像描述生成、对象检测、语义分割以及视觉问答等任务。nanoVLM 主要关注的是视觉问答任务，即回答关于图像内容的具体问题。 项目结构和架构 nanoVLM 的代码库非常简洁明了，主要包含以下几个部分： - 数据模块（data）：处理数据加载、预处理和批处理等功能。 - 生成模块（generate.py）：用于运行已训练模型生成文本的脚本。 - 模型模块（models）：包含模型的架构定义和实现。 - 训练脚本（train.py）：负责整个训练流程的执行。 架构概览 nanoVLM 结合了两个知名的预训练模型： - 视觉骨干：使用 Google 的 SigLIP 视觉编码器（vision_transformer.py），它是一个标准的视觉变换器。 - 语言骨干：基于 Hugging Face 的 SmolLM2-135M 模型（language_model.py），这是一个轻量级的语言模型。 这两个骨干模型通过一个模态投影模块（modality_projector.py）进行对齐。该模块首先对图像特征进行像素混洗操作以减少图像令牌数量，然后通过线性层将其转换为与语言模型兼容的嵌入向量。这些嵌入向量随后被拼接在一起并输入到语言解码器中，实现从图像到文本的无缝转换。 训练你的 VLM 要训练你自己的视觉语言模型，只需执行以下步骤： 1. 克隆仓库：git clone https://github.com/huggingface/nanoVLM.git 2. 运行训练脚本：python train.py 训练脚本 train.py 包括以下关键步骤： - 配置：从 models/config.py 中加载配置参数。 - 数据加载：使用 get_dataloaders 函数获取数据加载器，支持调试时裁剪数据集。 - 模型初始化：通过 VisionLanguageModel 类创建模型，并可以选择从预训练权重开始。 - 优化器设置：由于模态投影模块是全新初始化的，而骨干模型是预训练的，因此优化器分为两组参数，每组有不同的学习率，以平衡快速学习和保留已有的知识。 - 训练循环：每隔 250 步进行一次验证和测试，并在性能提升时保存模型检查点。 - 日志记录与监控：如果启用 log_wandb 参数，会在 Weights & Biases 上实时记录训练统计数据。 - 模型上传：训练完成后，可以通过 model.push_to_hub("hub/id") 将模型推送到 Hugging Face 模型中心。 使用预训练模型进行推理 nanoVLM 还提供了使用预训练模型进行推理的功能。你可以通过以下命令运行 generate.py 脚本来测试模型： - python generate.py：默认参数下，将在 assets/image.png 图像上运行“这是什么？”的问题。 - 自定义参数：python generate.py --image path/to/image.png --prompt "您的问题"。 具体实现如下： 1. 加载预训练模型并设置为评估模式。 2. 初始化分词器和图像处理器。 3. 处理输入的图像和文本提示。 4. 调用 model.generate 方法生成输出文本。 5. 解码生成的文本并打印结果。 结论 通过 nanoVLM，Hugging Face 为开发者提供了一个简单、高效的学习工具和实验平台。项目代码简洁易懂，旨在帮助用户理解多模态输入的对齐和训练过程。无论是想要深入了解模型内部机制，还是基于自己的数据集训练 VLM，这个工具都是一个好的起点。 行业评价与公司背景 行业评价：业内专家认为，nanoVLM 项目极大地简化了视觉语言模型的入门门槛，使更多开发者能够接触并掌握这一前沿技术。其轻量化的设计和详细的文档使其成为教学和研究的理想选择。 公司背景：Hugging Face 是一家领先的开源人工智能社区，致力于推进自然语言处理和计算机视觉等领域的研究与开发。他们提供的多个工具包如 Transformers 和 Datasets 在全球范围内被广泛使用和认同。