在线运行寒武纪 1 号 Cambrian-1 Demo

Cambrian-1 是一个以视觉为中心的方法设计的多模态 llm (mllm) 家族。虽然强大的语言模型可以增强多模态能力，但视觉组件的设计选择往往没有得到充分的探索，并且与视觉表示学习研究脱节。

Cambrian-1 是围绕五个关键支柱构建的，每个支柱都为 mlms 的设计空间提供了重要的见解:

• 视觉表示: 研究团队探索了各种视觉编码器及其组合。
• 连接器设计: 研究团队设计了一个新的动态和空间感知连接器，它集成了几个模型的视觉特征，同时减少了 tokens 的数量。
• 指令调优数据: 研究团队从公共资源中策划高质量的视觉指令调优数据，强调分布平衡的重要性。
• 指令调优食谱: 研究团队讨论指令调优策略和实践。
• 基准测试: 研究团队检查了现有的 mlm 基准，并引入一个新的以视觉为中心的基准测试 “CV-Bench” 。

Cambrian-1 项目网站：https://cambrian-mllm.github.io/#visual-representation

模型表现

Model	# Vis. Tok.	MMB	SQA-I	MathVistaM	ChartQA	MMVP
GPT-4V	UNK	75.8	–	49.9	78.5	50.0
Gemini-1.0 Pro	UNK	73.6	–	45.2	–	–
Gemini-1.5 Pro	UNK	–	–	52.1	81.3	–
Grok-1.5	UNK	–	–	52.8	76.1	–
MM-1-8B	144	72.3	72.6	35.9	–	–
MM-1-30B	144	75.1	81.0	39.4	–	–
Base LLM: LLaMA3-8B-Instruct
Mini-Gemini-HD-8B	2880	72.7	75.1	37.0	59.1	18.7
LLaVA-NeXT-8B	2880	72.1	72.8	36.3	69.5	38.7
Cambrian-1-8B	576	75.9	80.4	49.0	73.3	51.3
Base LLM: Vicuna1.5-13B
Mini-Gemini-HD-13B	2880	68.6	71.9	37.0	56.6	19.3
LLaVA-NeXT-13B	2880	70.0	73.5	35.1	62.2	36.0
Cambrian-1-13B	576	75.7	79.3	48.0	73.8	41.3
Base LLM: Hermes2-Yi-34B
Mini-Gemini-HD-34B	2880	80.6	77.7	43.4	67.6	37.3
LLaVA-NeXT-34B	2880	79.3	81.8	46.5	68.7	47.3
Cambrian-1-34B	576	81.4	85.6	53.2	75.6	52.7

部署推理步骤

本教程已经将模型与环境部署完毕，大家可根据教程指引直接使用大模型进行推理对话。具体教程如下：

一、初始设置

1. 待资源配置后打开工作空间

2. 打开终端，并输入命令 bash setup.sh

3. 系统输出 Environment variable added to .bashrc 后，输入指令 source ~/.bashrc

---

二、启动控制器

4. 完成初始化后，在终端中输入命令 bash control.sh

---

三、打开界面

5. 稍等约 15 秒后打开一个新的终端，并输入命令 bash gradio.sh，点击页面上生成的链接即可进入模型界面

6. 这时注意到模型界面中并没有供我们选择的模型，这是因为我们还没有对模型进行配置。此时需要进行第四个步骤。

---

四、模型配置

7. 再次打开一个新的终端 并输入命令 bash model.sh 。当出现「Uvicorn running on …」时，回到已经打开的 Gradio 网页界面，刷新后可以看到模型已经完成了部署。随后即可上传图片和提示词来与模型对话。

其中模型中还有多个可供用户调整的参数。

• temperature 可以影响输出内容的创意性和随机性，
• Top p 可控制候选词集合的大小，影响生成文本的质量和多样性
• Max output tokens 则可以改变最大的输出 tokens 数量。