使用 Open WebUI 一键部署 Llama 3.1 405B 模型

教程及模型简介

该教程是使用 OpenWebUI 一键部署 Llama-3.1-405B-Instruct-AWQ-INT4，相关环境和配置已经搭建完成，只需克隆启动容器即可进行推理体验。

该模型是 Llama 3.1 系列大型语言模型中的 405B 参数大小指令调优版，并采用了 AWQ 量化技术，将模型的权重量化到 INT4 精度，这有助于在保持性能的同时减小模型大小，提高推理速度。它是当前最大的开源模型之一，支持多语言输入和输出，增强了模型的通用性和适用范围，同时引入了更长的上下文窗口，能够处理更复杂的任务和对话。

Llama-3.1-405B-Instruct-AWQ-INT4 模型的特点是其支持 128K tokens 的上下文长度，这使得它能够理解和生成更长、更连贯的文本。此外，该模型还进行了指令调优，以提高其在遵循用户指令方面的表现。模型还采用了量化技术，特别是 AWQ (Adaptive Weight Quantization) 量化方法，将模型的权重量化到 INT4 精度，这有助于在保持性能的同时减少模型大小，提高推理速度 。

此模型在 150 多个涵盖多种语言的基准数据集上评估了性能，并进行了广泛的人工评估，在真实场景中与竞争模型进行了比较。实验评估表明，Llama-3.1-405B 在一系列任务中与领先的基础模型相媲美，包括 GPT-4 、 GPT-4o 和 Claude 3.5 Sonnet 。此外，该模型已被优化，以适应 NVIDIA 的多种平台，包括数据服务器、边缘设备和个人电脑。

运行步骤

1. 在教程界面右上角克隆并启动容器后，复制 API 地址至新的页面打开

2. 打开 API 后可以看到以下界面，直接在对话框输入文本即可与大模型进行对话（由于模型较大，需要等待约 30s 才会在 OpenWebUI 界面加载好模型。模型是默认选好的，如果无法选择，可能是模型还未加载完成，30s 后刷新 API 地址页面即可）