Bereitstellung Des OpenAI-kompatiblen API-Dienstes Des Mistral Large 2407 123B-Modells Mit Nur Einem Klick

Tutorial und Modelleinführung

Dieses Tutorial dient der Bereitstellung von Mistral-Large-Instruct-2407-AWQ mithilfe der OpenAI-kompatiblen API.

* Video-Tutorial, siehe[Offizielles OpenBayes-Tutorial] Schnelle Bereitstellung der supergroßen Modelle Mistral-Large und Llama-3.1-405B"

Mistral-Large-Instruct-2407-AWQ ist das Flaggschiff-KI-Modell der neuen Generation, nämlich Mistral Large 2, das vom französischen Unternehmen für künstliche Intelligenz Mistral AI veröffentlicht wurde. Das Modell verfügt über 123 Milliarden Parameter, ein 128.000-Kontextfenster und unterstützt Dutzende von Sprachen, darunter Chinesisch, und mehr als 80 Programmiersprachen wie Python, Java, C, C++, JavaScript und Bash. Mistral Large 2 weist erhebliche Verbesserungen bei Mehrsprachigkeit, Mathematik, Argumentation, Code-Schreiben usw. auf und hat eine Genauigkeit von 84,0% auf MMLU.

„OpenAI-kompatible API“ bezieht sich auf eine Anwendungsprogrammierschnittstelle (API), die den von OpenAI festgelegten Schnittstellenstandards und -spezifikationen folgt und es Entwicklern ermöglicht, diese APIs zur Interaktion mit großen Sprachmodellen (wie den Modellen der GPT-Reihe von OpenAI) zu verwenden. Diese Kompatibilität bedeutet, dass Drittanbieterentwickler ähnliche Funktionen in ihre eigenen Anwendungen integrieren können, indem sie dieselben Anforderungs- und Antwortformate wie OpenAI verwenden. Wenn ein Entwickler beispielsweise einen Chatbot mit der API von OpenAI erstellt hat, kann er problemlos zu einem anderen Dienst wechseln, der ebenfalls dem OpenAI-kompatiblen API-Standard folgt, ohne größere Änderungen an seinem Code vornehmen zu müssen.

Zu den wichtigsten Funktionen der OpenAI-kompatiblen API gehören:

• Standardisierte Anfragen: API-Anfragen folgen dem Format von OpenAI, einschließlich der erforderlichen Parameter und Struktur.
• Standardisierte Antworten: Auch die API-Antworten folgen dem Format von OpenAI, wodurch die Ergebnisse der Verarbeitung und Analyse konsistent und vorhersehbar werden.
• Funktionalitätskonsistenz: Bietet ähnliche Funktionen wie OpenAI, z. B. Textgenerierung, Übersetzung, Zusammenfassung usw.
• Einfache Integration: Entwickler können diese APIs problemlos in vorhandene Systeme integrieren und dabei vertraute Schnittstellen und Muster nutzen.

Schritte ausführen

1. Klonen und starten Sie den Container in der oberen rechten Ecke der Tutorial-Oberfläche

Die OpenAI-kompatible API startet nach erfolgreicher Bereitstellung alle Dienste automatisch und ohne zusätzliche Eingriffe. 

2. Kopieren Sie die API-Adresse auf eine neue Seite und öffnen Sie diese

Sie können sehen, dass eine 404-Standardmeldung angezeigt wird.

3. Fügen Sie nach der API-Adresse einen zusätzlichen Parameter '/v1/models' hinzu

Sie können sehen, dass die Bereitstellungsinformationen des Modells angezeigt werden.

4. An diesem Punkt können Sie in jedem OpenAI-kompatiblen SDK eine Verbindung zum Modell herstellen. Hier nehmen wir OpenWebUI als Beispiel - verwenden Sie das lokale OpenWebUI, um diese API zu integrieren

Starten Sie lokal einen OpenWebUI-Dienst, starten Sie eine zusätzliche Verbindung in „Externe Verbindung“, füllen Sie die API in „OpenAPI“ aus und ➕ „/v1“. Hier ist kein „API-Schlüssel“ festgelegt, geben Sie ihn einfach individuell ein. Klicken Sie unten rechts auf „Speichern“.

5. Bereitstellung abgeschlossen

Sie können sehen, dass das Modell Mistral Large 2407 123B bereits in der OpenWebUI-Schnittstelle vorhanden ist. Sie können mit dem großen Modell kommunizieren, indem Sie einfach unten auf der Seite eine Nachricht eingeben.