Déploiement En Un Clic Du Service API Compatible OpenAI Du Modèle Mistral Large 2407 123B

Tutoriel et introduction au modèle

Ce tutoriel consiste à déployer Mistral-Large-Instruct-2407-AWQ à l'aide de l'API compatible OpenAI.

* Tutoriel vidéo, voir[Tutoriel officiel OpenBayes] Déploiement rapide des modèles super larges Mistral-Large et Llama-3.1-405B"

Mistral-Large-Instruct-2407-AWQ est le modèle d'IA phare de nouvelle génération publié par la société française d'intelligence artificielle Mistral AI, à savoir Mistral Large 2. Le modèle comporte 123 milliards de paramètres, une fenêtre de contexte de 128 000 et prend en charge des dizaines de langues, dont le chinois et plus de 80 langages de programmation tels que Python, Java, C, C++, JavaScript et Bash. Mistral Large 2 présente des améliorations significatives dans les capacités multilingues, les mathématiques, le raisonnement, l'écriture de code, etc., et a une précision de 84,0% sur MMLU.

« API compatible OpenAI » fait référence à une interface de programmation d'application (API) qui suit les normes et spécifications d'interface définies par OpenAI, permettant aux développeurs d'utiliser ces API pour interagir avec de grands modèles de langage (tels que les modèles de la série GPT d'OpenAI). Cette compatibilité signifie que les développeurs tiers peuvent intégrer des fonctionnalités similaires dans leurs propres applications en utilisant les mêmes formats de demande et de réponse qu'OpenAI. Par exemple, si un développeur crée un chatbot à l’aide de l’API d’OpenAI, il peut facilement passer à un autre service qui suit également la norme API compatible OpenAI sans apporter de modifications majeures à son code.

Les principales fonctionnalités de l'API compatible OpenAI incluent :

• Requêtes standardisées : les requêtes API suivent le format d'OpenAI, y compris les paramètres et la structure requis.
• Réponses standardisées : les réponses de l’API suivent également le format d’OpenAI, ce qui rend les résultats de traitement et d’analyse cohérents et prévisibles.
• Cohérence des fonctionnalités : fournit des fonctionnalités similaires à OpenAI, telles que la génération de texte, la traduction, le résumé, etc.
• Facile à intégrer : les développeurs peuvent facilement intégrer ces API dans les systèmes existants, en tirant parti d'interfaces et de modèles familiers.

Étapes de course

1. Clonez et démarrez le conteneur dans le coin supérieur droit de l'interface du didacticiel

L'API compatible OpenAI démarrera automatiquement tous les services après un déploiement réussi, sans aucune intervention supplémentaire. 

2. Copiez l'adresse API sur une nouvelle page et ouvrez-la

Vous pouvez voir qu'un message 404 par défaut s'affiche.

3. Ajoutez un paramètre supplémentaire « /v1/models » après l'adresse de l'API

Vous pouvez voir que les informations de déploiement du modèle sont affichées.

4. À ce stade, vous pouvez vous connecter au modèle dans n’importe quel SDK compatible OpenAI. Ici, nous prenons OpenWebUI comme exemple - utilisez l'OpenWebUI local pour intégrer cette API

Démarrez un service OpenWebUI localement, démarrez une connexion supplémentaire dans « Connexion externe », renseignez l'API dans « OpenAPI » et ➕ '/v1'. Il n'y a pas de « clé API » définie ici, saisissez-la simplement de manière personnalisée. Cliquez sur Enregistrer dans le coin inférieur droit.

5. Déploiement terminé

Vous pouvez voir que le modèle Mistral Large 2407 123B existe déjà dans l'interface OpenWebUI. Vous pouvez communiquer avec le grand modèle en saisissant simplement un message en bas de la page.