Command Palette
Search for a command to run...
온라인 튜토리얼丨매번 약 3B만 활성화, MiniCPM-V 4.7 온디바이스 디코딩 속도 13+ tokens/s 달성

언어 모델이 AI에게 읽고 표현하는 법을 가르쳤다면, 멀티모달 모델은 AI가 세상을 인식하는 방식을 한층 더 확장했습니다. 이미지 속 물체를 인식하고, 차트의 데이터를 읽으며, 영상에서 연속적으로 발생하는 사건을 이해하는 것에 이르기까지, 모델이 처리해야 하는 것은 더 이상 텍스트만이 아니라 서로 다른 정보 형식의 조합이며, 이를 추론하고 답할 수 있는 내용으로 변환해야 합니다.
面壁智能과 OpenBMB 커뮤니티가 선보인 MiniCPM-V 4.7은 바로 시각 이해 작업을 위한 멀티모달 비전 언어 모델입니다. 이 모델은 35B-A3B 혼합 전문가(MoE) 아키텍처를 채택해 총 파라미터 수가 35B에 달하지만, 각 토큰마다 약 3B 파라미터만 활성화하여 비교적 큰 모델의 능력을 유지하면서도 추론 시 계산 오버헤드를 효과적으로 제어합니다.
시각 이해 측면에서 MiniCPM-V 4.7은 단일 이미지, 다중 이미지 및 비디오 이해를 지원하며 다양한 유형의 시각 입력을 처리할 수 있습니다. 모델은 Canvas M-RoPE 시각 위치 인코딩과 효율적인 시각 압축 기술을 도입해 이미지 속 공간 관계와 세부 정보를 더 잘 포착하도록 돕습니다. 복잡한 시각 콘텐츠에 직면하면 화면 속 객체를 식별할 수 있을 뿐 아니라 문맥을 결합해 이미지 정보를 이해하고 해당 질의응답 및 분석 작업을 완료할 수 있습니다.
더 흥미로운 점은, 이렇게 총 35B 파라미터를 가진 모델이 반드시 대형 서버에 의존해야만 실행되는 것은 아니라는 것입니다. MiniCPM-V 4.7은 온디바이스 추론을 위해 특별히 최적화되었습니다: 전방 탐색 전문가 스케줄링(Lookahead Expert Scheduling, LES) 등의 기술을 통해 MoE 모델의 전문가 호출 효율을 개선하고, 모델 성능을 희생하지 않으면서도 원활한 온디바이스 추론을 구현합니다. 또한 정밀한 계층별 양자화, DSpark 추측 샘플링 등의 기술을 결합해 실행 오버헤드를 더욱 낮춥니다. 공식 시연에서 모델은 심지어 iPhone 17 Pro Max에서 약 3GB 메모리로 13+ tokens/s의 디코딩 속도를 달성할 수 있었습니다. 즉, 멀티모달 모델이 반드시 클라우드에 머물 필요는 없으며, 휴대폰을 들고도 시각 이해 능력을 경험할 수 있습니다.
HyperAI는 이제 「MiniCPM-V 4.7: 멀티모달 비전 언어 대형 모델(35B-A3B MoE)」을 선보여, 낮은 진입 장벽으로 모델이 이미지 등 시각 입력을 어떻게 이해하는지 경험하고, 혼합 전문가 아키텍처가 전문가 스케줄링과 추론 최적화를 통해 모델 규모, 계산 오버헤드, 실제 실행 효율 사이의 균형을 어떻게 이루는지 더 자세히 알아볼 수 있습니다.
온라인 실행:
더 많은 온라인 튜토리얼:
Demo 실행
- hyper.ai 홈페이지에 들어간 후 「튜토리얼」 페이지를 선택하거나 「더 많은 튜토리얼 보기」를 클릭하고, 「MiniCPM-V 4.7: 멀티모달 비전 언어 대형 모델(35B-A3B MoE)」을 선택한 다음 「이 튜토리얼 실행」을 클릭합니다.
- 페이지가 전환되면 오른쪽 상단의 「Clone」을 클릭하여 해당 튜토리얼을 자신의 컨테이너에 복제합니다.
참고: 페이지 오른쪽 상단에서 언어 전환을 지원하며, 현재 중국어와 영어 두 가지 언어를 제공합니다. 본 튜토리얼 문서는 영어를 예시로 단계를 보여줍니다.
- 「2 x NVIDIA GeForce RTX 5090 (32 GB)」 및 해당 이미지를 선택하고 「Continue job execution(계속 실행)」을 클릭합니다.
- 리소스 할당을 기다린 후 상태가 「Running(실행 중)」으로 바뀌면 「Open Workspace」를 클릭하여 Jupyter Workspace로 들어갑니다.
결과 시연
- 페이지가 전환되면 왼쪽의 README 파일을 클릭하고, 들어간 후 상단의 Run(실행)을 클릭합니다.
- 실행이 완료될 때까지 기다린 후 오른쪽의 API 주소를 클릭하면 데모에 접속할 수 있습니다.








