Command Palette
Search for a command to run...
온라인 튜토리얼丨2B가 4B를 이기다, 동급 오픈소스 모델 SOTA, OpenBMB가 MiniCPM5-2B 출시, 131K 긴 컨텍스트와 도구 호출 지원
질문, 프로그래밍부터 도구 호출까지, AI 어시스턴트의 능력은 계속 확장되고 있습니다. 제한된 리소스에서 추론, 장문 처리, 에이전트 애플리케이션을 모두 고려하는 것이 엣지 배포의 핵심 과제가 되었습니다.
MiniCPM5-2B는 경량화된 선택지를 제공합니다. OpenBMB가 출시한 MiniCPM5 시리즈의 두 번째 모델로서 표준 LlamaForCausalLM 아키텍처를 채택했으며, 엣지 배포, 로컬 추론 및 리소스 제한 환경을 대상으로 하여, 개발자가 소형 파라미터 모델을 기반으로 실용적인 AI 애플리케이션을 구축할 수 있도록 지원합니다.
공식 평가에 따르면, MiniCPM5-2B는 비교 범위 내에서 평균 53.9점을 기록하며 2B급 오픈소스 모델의 선두 수준에 도달했고, 일부 지표는 4B급 모델을 초과합니다. 그 능력은 코드 추론, 수학 추론, 장문 맥락 이해, 도구 호출 및 에이전트 작업을 포괄하며, 프로그래밍 보조, 문제 해결, 지식 Q&A 등의 시나리오에 사용될 수 있습니다. 장문 처리 요구를 위해 MiniCPM5-2B는 최대 131,072개의 토큰 컨텍스트 창을 기본 지원하여 긴 문서, 코드 및 대화 기록 입력을 위한 공간을 제공합니다.
텍스트 생성 외에도 MiniCPM5-2B는 XML 스타일의 도구 호출을 지원하며, 프로그래밍 에이전트, 검색 에이전트 및 기타 도구 호출 워크플로우의 모델 기반으로 사용될 수 있습니다.
현재 HyperAI 튜토리얼 섹션에는 「MiniCPM5-2B: 엣지 2B급 SOTA 대형 모델 추론」 실습 튜토리얼이 업로드되어 있으며, 온라인 체험 및 원클릭 배포를 지원합니다~
**온라인 실행:https://go.hyper.ai/q0Pc2>**더 많은 온라인 튜토리얼:
데모 페이지
Demo 실행
- hyper.ai 홈페이지에 들어간 후, 「튜토리얼」 페이지를 선택하거나 「더 많은 튜토리얼 보기」를 클릭하고, 「MiniCPM5-2B: 엣지 2B급 SOTA 대형 모델 추론」을 선택한 후, 「이 튜토리얼 실행」을 클릭합니다.
- 페이지가 이동된 후, 오른쪽 상단의 'Clone'을 클릭하여 해당 튜토리얼을 자신의 컨테이너에 복제합니다.
참고: 페이지 오른쪽 상단에서 언어를 전환할 수 있으며, 현재 중국어와 영어 두 가지 언어를 지원합니다. 본 튜토리얼 문서는 영어를 예시로 단계를 보여줍니다.
- 「NVIDIA RTX 5090」및 「vllm」이미지를 선택하고, 「Continue job execution(계속 실행)」을 클릭합니다.
- 리소스 할당을 기다린 후, 상태가 「Running(실행 중)」으로 변경되면 「Open Workspace」를 클릭하여 Jupyter Workspace로 들어갑니다.
효과 시연
- 페이지 이동 후, 왼쪽의 README 파일을 클릭하고, 들어간 후 상단의 Run(실행)을 클릭합니다.
- 실행이 완료되면 새 터미널을 열고 다음 명령을 실행하여 Open WebUI를 시작하세요.
- 시작 후, 오른쪽의 API 주소를 클릭하면 브라우저에서 Open WebUI 인터페이스에 접속하여 로컬 모델과 대화를 시작할 수 있습니다.
