Phi-3.5-mini-instruct의 원클릭 배포

튜토리얼 소개

Phi-3.5-mini-instruct는 Microsoft가 2024년에 출시한 Phi-3.5 시리즈의 경량 모델입니다. 컴퓨팅 리소스가 제한된 환경을 위해 설계되었으며 38억 개의 매개변수를 가지고 있습니다. 128K 토큰의 컨텍스트 길이를 지원하며 코드 생성, 수학적 문제 해결, 논리 기반 추론과 같은 작업에 적합합니다. 이 모델은 다국어 및 여러 턴으로 진행되는 대화 작업에서 좋은 성능을 보이며 RepoQA 벤치마크에서 Llama-3.1-8B-instruct 및 Mistral-7B-instruct와 같은 동일 수준의 다른 모델을 능가합니다. Phi-3.5-mini-instruct는 512개의 H100-80G GPU를 사용하여 10일 동안 학습되었으며, 학습 데이터에는 3.4조 개의 토큰이 포함되었습니다.

Phi-3.5-mini-instruct 모델은 메모리나 컴퓨팅 리소스가 제한된 환경, 지연 시간에 민감한 시나리오, 강력한 추론 기능(특히 코드, 수학, 논리)이 필요한 애플리케이션을 포함하되 이에 국한되지 않는 다양한 사용 시나리오를 염두에 두고 설계되었습니다. 중국어를 포함한 여러 언어를 지원하며, 중국어 시나리오에 맞게 기능이 강화되었습니다. 모델의 크기는 제한적이고 사실적 오류가 있을 수 있지만, 검색 등의 기술을 결합하면 오류율을 줄일 수 있습니다.

이 튜토리얼은 4090 카드 한 장을 사용하여 시작할 수 있습니다.

실행 단계

1. 克隆并启动容器后点击 API 地址即可进入 web 界面

2. 与模型进行对话