Déploiement En Un Clic De Phi-3.5-mini-instruct

Introduction au tutoriel

Phi-3.5-mini-instruct est un modèle léger de la série Phi-3.5 lancée par Microsoft en 2024. Il est conçu pour les environnements avec des ressources informatiques limitées et dispose de 3,8 milliards de paramètres. Il prend en charge une longueur de contexte de 128 000 jetons et convient aux tâches telles que la génération de code, la résolution de problèmes mathématiques et le raisonnement basé sur la logique. Le modèle fonctionne bien dans les tâches de dialogue multilingues et multi-tours, et surpasse les autres modèles du même niveau tels que Llama-3.1-8B-instruct et Mistral-7B-instruct sur le benchmark RepoQA. Phi-3.5-mini-instruct a été formé à l'aide de 512 GPU H100-80G pendant 10 jours, et les données de formation contenaient 3,4 billions de jetons.

Le modèle Phi-3.5-mini-instruct est conçu pour une variété de scénarios d'utilisation, y compris, mais sans s'y limiter, les environnements avec une mémoire ou des ressources informatiques limitées, les scénarios sensibles à la latence et les applications qui nécessitent de solides capacités de raisonnement (en particulier dans le code, les mathématiques et la logique). Il prend en charge plusieurs langues, dont le chinois, et a été amélioré pour les scénarios chinois. Bien que la taille du modèle soit limitée et qu’il puisse y avoir des erreurs factuelles, le taux d’erreur peut être réduit en combinant des technologies telles que la recherche.

Ce tutoriel peut être démarré en utilisant une seule carte 4090.

Étapes de course

1. 克隆并启动容器后点击 API 地址即可进入 web 界面

2. 与模型进行对话