Verwenden Sie Open WebUI, Um Mistral Large 2407 123B Mit Einem Klick Bereitzustellen

Tutorial und Modelleinführung

Dieses Tutorial verwendet OpenWebUI, um Mistral-Large-Instruct-2407-AWQ mit einem Klick bereitzustellen. Die entsprechende Umgebung und Konfiguration wurde eingerichtet. Sie müssen den Container nur klonen und starten, um die Inferenz zu erleben.

Mistral-Large-Instruct-2407-AWQ ist das Flaggschiff-KI-Modell der neuen Generation, nämlich Mistral Large 2, das vom französischen Unternehmen für künstliche Intelligenz Mistral AI veröffentlicht wurde. Das Modell verfügt über 123 Milliarden Parameter, ein 128.000-Kontextfenster und unterstützt Dutzende von Sprachen, darunter Chinesisch, und mehr als 80 Programmiersprachen wie Python, Java, C, C++, JavaScript und Bash. Mistral Large 2 weist erhebliche Verbesserungen bei Mehrsprachigkeit, Mathematik, Argumentation, Code-Schreiben usw. auf und hat eine Genauigkeit von 84,0% auf MMLU.

Das Modell legt besonderen Wert darauf, das Halluzinationsproblem des Modells zu reduzieren, d. h. die Generierung von Informationen zu vermeiden, die vernünftig erscheinen, aber tatsächlich falsch oder irrelevant sind. Modelle werden darauf trainiert, ihre Unwissenheit zuzugeben, wenn sie keine Lösung finden oder nicht über genügend Informationen verfügen, um eine sichere Antwort zu geben, anstatt Informationen zu erfinden. Darüber hinaus unterstützt Mistral Large 2 erweiterte Funktionsaufrufe und -abrufe, ermöglicht eine nahtlose Interaktion mit externen Systemen, APIs und Tools und verfügt über erweiterte Fähigkeiten im folgerichtigen Denken und in der Mathematik.

Schritte ausführen

1. Kopieren Sie nach dem Klonen und Starten des Containers in der oberen rechten Ecke der Tutorial-Oberfläche die API-Adresse, um eine neue Seite zu öffnen

2. Nach dem Öffnen der API sehen Sie die folgende Schnittstelle. Geben Sie einfach Text in das Dialogfeld ein, um mit dem großen Modell zu kommunizieren.