Ce tutoriel est une démonstration de déploiement en un clic de DeepSeek-V2-Lite-Chat. Il vous suffit de cloner et de démarrer le conteneur et de copier directement l'adresse API générée pour expérimenter l'inférence du modèle.

1. Introduction au modèle

DeepSeek-V2, un puissant modèle de langage de mélange d'experts (MoE) avec une formation économique et une inférence efficace. Il contient 236 B de paramètres au total, où chaque jeton active 21 B de paramètres. Comparé à DeepSeek 67B, DeepSeek-V2 atteint des performances plus élevées tout en économisant 42,5% de coûts de formation, en réduisant 93,3% de cache KV et en augmentant le débit de génération maximal à 5,76 fois.

2. Résultats de l'évaluation

3. Comment utiliser

Ce tutoriel a déployé le modèle et l'environnement. Vous pouvez utiliser directement le grand modèle pour raisonner le dialogue selon les instructions du didacticiel. Le tutoriel spécifique est le suivant :

Étape 1 : Cloner et démarrer le conteneur

Après avoir cloné et démarré le conteneur avec succès, vous verrez cette interface. Attendez une douzaine de secondes pour charger le modèle et copiez l'adresse API à droite dans le navigateur. 

Étape 2 : Accédez au site Web

Après avoir accédé à la page Web, vous pouvez communiquer avec le grand modèle (les paramètres pertinents ont été débogués et aucun réglage n'est requis) 

Discussion et échange

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutorial Exchange] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓