vLLM+Open WebUI-Bereitstellung MiniCPM4-8B

1. Einführung in das Tutorial

MiniCPM 4.0 ist ein effizientes, endseitiges Large Language Model (LLM), das am 6. Juni 2025 von OpenBMB veröffentlicht wurde. Durch Technologien wie Sparse-Architektur, Quantisierungskompression und ein effizientes Reasoning-Framework erreicht es leistungsstarkes Reasoning bei geringem Rechenaufwand. Dies eignet sich insbesondere für die Verarbeitung langer Texte, datenschutzrelevante Szenarien und den Einsatz von Edge-Computing-Geräten. MiniCPM4-8B zeigt bei der Verarbeitung langer Sequenzen eine deutlich höhere Verarbeitungsgeschwindigkeit als Qwen3-8B. Die Ergebnisse der Studie lauten:MiniCPM4: Ultraeffiziente LLMs auf Endgeräten".

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2-3 Minuten und aktualisieren Sie die Seite.

Anwendung

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Dank an den Github-Benutzer xxxjjjyyy1  Bereitstellung dieses Tutorials. Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{minicpm4,
  title={MiniCPM4: Ultra-Efficient LLMs on End Devices},
  author={MiniCPM Team},
  year={2025}
}

@inproceedings{huminicpm,
  title={MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies},
  author={Hu, Shengding and Tu, Yuge and Han, Xu and Cui, Ganqu and He, Chaoqun and Zhao, Weilin and Long, Xiang and Zheng, Zhi and Fang, Yewei and Huang, Yuxiang and others},
  booktitle={First Conference on Language Modeling},
  year={2024}
}