一、教程简介

Llama-3.3-70B-Instruct 是由 Meta 于 2024 年推出的一款大语言模型，是 Llama 3.3 系列中目前唯一开源的模型，且特别优化了指令微调版本。该模型支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语共 8 种语言，但目前不支持中文。在性能评测中，Llama-3.3-70B-Instruct 的参数规模约 70B，但各项评测指标约等于 405B 参数规模的 Llama3.1-405B 模型，意味着可以用更少的资源，更快地生成文本，性能与近 6 倍参数规模的大模型差不多 。这使得 Llama-3.3-70B-Instruct 成为一个强大且经济高效的替代品，在关键基准测试中提供卓越性能，同时保持开源和可访问性。

本教程使用 Llama-3.3-70B-Instruct（采取 int4 量化）作为演示，算力资源采用 A6000 。

二、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面（若显示「Bad Gateway」，这表示模型正在初始化，由于模型较大，请等待约 5 分钟后重试。）

2. 进入网页后，即可与模型展开对话！

模型对话流程

交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓