1. Einführung in das Tutorial

DeepSeek-R1-Distill-Llama-70B ist ein Open-Source-Modell für große Sprachen, das 2025 von DeepSeek eingeführt wurde und einen Parameterumfang von bis zu 70 Milliarden aufweist. Es basiert auf Llama3.3-70B-Instruct und verwendet Verstärkungslernen und Destillationstechnologie, um die Argumentationsleistung zu verbessern. Es übernimmt nicht nur die Vorteile der Modelle der Llama-Reihe, sondern optimiert auf dieser Grundlage auch die Denkfähigkeit weiter, insbesondere bei Mathematik-, Code- und logischen Denkaufgaben. Als Hochleistungsversion der DeepSeek-Serie schneidet es in mehreren Benchmarks gut ab. Darüber hinaus handelt es sich bei diesem Modell um ein von DeepSeek AI bereitgestelltes, inferenzerweitertes Modell, das mehrere Anwendungsszenarien unterstützt, wie etwa mobile Geräte und Edge Computing, Online-Inferenzdienste usw., um die Reaktionsgeschwindigkeit zu verbessern und die Betriebskosten zu senken. Es verfügt über sehr ausgeprägte Denk- und Entscheidungsfähigkeiten. In den Bereichen fortgeschrittener KI-Assistenten, wissenschaftlicher Forschungsanalyse usw. kann es äußerst professionelle und detaillierte Analyseergebnisse liefern. In der medizinischen Forschung kann Version 70B beispielsweise große Mengen medizinischer Daten analysieren und wertvolle Referenzen für die Krankheitsforschung liefern.

本教程使用 Ollama + Open WebUI 部署 DeepSeek-R1-Distill-Qwen-70B 作为演示，算力资源采用「单卡 A6000」。

2. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen (wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 5 Minuten und versuchen Sie es erneut.) 2. Nachdem Sie die Webseite aufgerufen haben, können Sie eine Konversation mit dem Modell beginnen!

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Gängige Gesprächseinstellungen

1. Temperatur

• Steuert die Zufälligkeit der Ausgabe, im Allgemeinen im Bereich von 0.0-2.0  zwischen.
• Niedriger Wert (z. B. 0,1): Sicherer, tendiert zu gebräuchlichen Wörtern.
• Hoher Wert (z. B. 1,5): Zufälligerer, möglicherweise kreativerer, aber unregelmäßiger Inhalt.

2. Top-k-Stichprobenverfahren

• Nur von  Das k mit der höchsten Wahrscheinlichkeit  Stichprobenziehung in Wörtern, unter Ausschluss von Wörtern mit geringer Wahrscheinlichkeit.
• k ist klein (z. B. 10): Mehr Sicherheit, weniger Zufälligkeit.
• k ist groß (z. B. 50): Mehr Vielfalt, mehr Innovation.

3. Top-p-Sampling (Nucleus-Sampling, Top-p-Sampling)

• wählenDer Wortsatz mit der kumulativen Wahrscheinlichkeit, die p erreicht, der k-Wert ist nicht festgelegt.
• Niedriger Wert (z. B. 0,3): Mehr Sicherheit, weniger Zufälligkeit.
• Hoher Wert (z. B. 0,9): Mehr Vielfalt, verbesserte Flüssigkeit.

4. Wiederholungsstrafe

• Steuert Textwiederholungen, normalerweise in 1.0-2.0  zwischen.
• Hoher Wert (z. B. 1,5): Reduzieren Sie Wiederholungen und verbessern Sie die Lesbarkeit.
• Niedriger Wert (z. B. 1,0): Keine Strafe, kann dazu führen, dass das Modell Wörter und Sätze wiederholt.

5. Max Tokens (maximale Generierungslänge)

• RestriktionsmodellMaximale Anzahl generierter Token, um eine übermäßig lange Ausgabe zu vermeiden.
• Typischer Bereich:50-4096(Hängt vom jeweiligen Modell ab).

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓