Utilisez Open WebUI Pour Déployer Mistral Large 2407 123B En Un Clic

Tutoriel et introduction au modèle

Ce tutoriel utilise OpenWebUI pour déployer Mistral-Large-Instruct-2407-AWQ en un clic. L'environnement et la configuration appropriés ont été mis en place. Il vous suffit de cloner et de démarrer le conteneur pour expérimenter l'inférence.

Mistral-Large-Instruct-2407-AWQ est le modèle d'IA phare de nouvelle génération publié par la société française d'intelligence artificielle Mistral AI, à savoir Mistral Large 2. Le modèle comporte 123 milliards de paramètres, une fenêtre de contexte de 128 000 et prend en charge des dizaines de langues, dont le chinois et plus de 80 langages de programmation tels que Python, Java, C, C++, JavaScript et Bash. Mistral Large 2 présente des améliorations significatives dans les capacités multilingues, les mathématiques, le raisonnement, l'écriture de code, etc., et a une précision de 84,0% sur MMLU.

Le modèle accorde une attention particulière à la réduction du problème d’hallucination du modèle, c’est-à-dire à l’évitement de la génération d’informations qui semblent raisonnables mais qui sont en réalité incorrectes ou non pertinentes. Les modèles sont formés à admettre qu’ils ne savent pas quand ils ne trouvent pas de solution ou qu’ils n’ont pas suffisamment d’informations pour fournir une réponse sûre, plutôt que d’inventer des informations. De plus, Mistral Large 2 prend en charge l'appel et la récupération de fonctions avancées, permet une interaction transparente avec des systèmes externes, des API et des outils, et dispose de capacités avancées en matière de raisonnement et de mathématiques.

Étapes de course

1. Après avoir cloné et démarré le conteneur dans le coin supérieur droit de l'interface du didacticiel, copiez l'adresse de l'API pour ouvrir une nouvelle page

2. Après avoir ouvert l'API, vous pouvez voir l'interface suivante. Entrez simplement du texte dans la boîte de dialogue pour communiquer avec le grand modèle.