Offene Modelle auf GPUs bereitstellen

Wählen Sie ein GPU-Setup und eine Fähigkeit aus, um die am besten geeigneten offenen Modelle zu finden und eines als API bereitzustellen.

Agent · 2× NVIDIA RTX 5090

Sortiert nach Benchmark-Ergebnissen für Tool-Aufruf, mehrstufige Planung und Umgebungsinteraktion

#	Modell	Parameter	Präzision	Max. Kontext	Ergebnis (0–10)	(0–10)
1	Kimi-VL-A3B-Thinking-2506 2025.06	16.4B	FP16	128K	8.75

Bereitstellung auf HyperAI verifiziert

Scores aggregieren öffentliche Benchmarks für die ausgewählte Fähigkeit.
Passt bei bester Präzision mit Gewichten plus KV-Cache bei 64K+ Kontext in den nutzbaren VRAM.