Ein-Klick-Bereitstellung Von DeepSeek-V2-Lite-Chat
Dieses Tutorial ist eine Ein-Klick-Bereitstellungsdemo von DeepSeek-V2-Lite-Chat. Sie müssen nur den Container klonen und starten und die generierte API-Adresse direkt kopieren, um die Inferenz des Modells zu erleben.
1. Einführung in das Modell
DeepSeek-V2, ein leistungsstarkes Sprachmodell mit Expertenmischung (MoE) mit wirtschaftlichem Training und effizienter Inferenz. Es enthält insgesamt 236 Milliarden Parameter, wobei jedes Token 21 Milliarden Parameter aktiviert. Im Vergleich zu DeepSeek 67B erreicht DeepSeek-V2 eine stärkere Leistung, spart dabei 42,51 TP3T Trainingskosten, reduziert 93,31 TP3T KV-Cache und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache.
2. Ergebnisse der Evaluation
| Benchmark | Domain | QWen1.5 72B Chat | Mixtral 8x22B | LLaMA3 70B Anweisung | DeepSeek-V1-Chat (SFT) | DeepSeek-V2-Chat (SFT) | DeepSeek-V2-Chat (RL) |
|---|---|---|---|---|---|---|---|
| MMLU | Englisch | 76.2 | 77.8 | 80.3 | 71.1 | 78.4 | 77.8 |
| BBH | Englisch | 65.9 | 78.4 | 80.1 | 71.7 | 81.3 | 79.7 |
| C-Eval | Englisch | 82.2 | 60.0 | 67.9 | 65.2 | 80.9 | 78.0 |
| CMMLU | Englisch | 82.9 | 61.0 | 70.7 | 67.8 | 82.4 | 81.6 |
| Menschliche Eval | Code | 68.9 | 75.0 | 76.2 | 73.8 | 76.8 | 81.1 |
| MBPP | Code | 52.2 | 64.4 | 69.8 | 61.4 | 70.4 | 72.0 |
| LiveCodeBench (0901-0401) | Code | 18.8 | 25.0 | 30.5 | 18.3 | 28.7 | 32.5 |
| GSM8K | Mathe | 81.9 | 87.9 | 93.2 | 84.1 | 90.8 | 92.2 |
| Mathe | Mathe | 40.6 | 49.8 | 48.5 | 32.6 | 52.7 | 53.9 |
3. Wie zu verwenden
In diesem Tutorial wurden das Modell und die Umgebung bereitgestellt. Sie können das große Modell direkt für den Denkdialog gemäß den Anweisungen im Tutorial verwenden. Das spezifische Tutorial lautet wie folgt:
Schritt 1: Klonen und Starten des Containers
Nach dem erfolgreichen Klonen und Starten des Containers wird diese Schnittstelle angezeigt. Warten Sie zwölf Sekunden, bis das Modell geladen ist, und kopieren Sie die API-Adresse rechts in den Browser. 
Schritt 2: Rufen Sie die Website auf
Nach dem Aufrufen der Webseite können Sie mit dem großen Modell kommunizieren (die relevanten Parameter wurden debuggt und es sind keine Anpassungen erforderlich). 
Diskussion und Austausch
🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [Tutorial Exchange], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓
