Ein-Klick-Bereitstellung Von Phi-3.5-mini-instruct

Einführung in das Tutorial

Phi-3.5-mini-instruct ist ein leichtes Modell der 2024 von Microsoft eingeführten Phi-3.5-Reihe. Es ist für Umgebungen mit begrenzten Rechenressourcen konzipiert und verfügt über 3,8 Milliarden Parameter. Es unterstützt eine Kontextlänge von 128.000 Token und eignet sich für Aufgaben wie Codegenerierung, mathematische Problemlösung und logikbasiertes Denken. Das Modell bietet gute Leistungen bei mehrsprachigen Dialogaufgaben und Aufgaben mit mehreren Turns und übertrifft andere Modelle desselben Niveaus wie Llama-3.1-8B-instruct und Mistral-7B-instruct im RepoQA-Benchmark. Phi-3.5-mini-instruct wurde 10 Tage lang mit 512 H100-80G-GPUs trainiert und die Trainingsdaten enthielten 3,4 Billionen Token.

Das Phi-3.5-Mini-Instruct-Modell ist für eine Vielzahl von Nutzungsszenarien konzipiert, darunter unter anderem Umgebungen mit begrenztem Speicher oder begrenzten Rechenressourcen, latenzempfindliche Szenarien und Anwendungen, die ausgeprägte Denkfähigkeiten erfordern (insbesondere in den Bereichen Code, Mathematik und Logik). Es unterstützt mehrere Sprachen, darunter Chinesisch, und wurde für chinesische Szenarien erweitert. Obwohl die Modellgröße begrenzt ist und einige sachliche Fehler auftreten können, kann die Fehlerrate durch die Kombination von Technologien wie der Suche reduziert werden.

Dieses Tutorial kann mit einer einzelnen 4090-Karte gestartet werden.

Schritte ausführen

1. 克隆并启动容器后点击 API 地址即可进入 web 界面

2. 与模型进行对话