Tensormesh hat sich mit 4,5 Millionen US-Dollar in einer Seed-Runde finanziert, um die Effizienz von KI-Inferenz auf GPUs erheblich zu steigern. Das aus dem Hintergrund kommende Startup, gegründet von Yihua Cheng und Junchen Jiang, baut auf der Open-Source-Tool-LMCache auf, das Cheng entwickelt und gepflegt hat. LMCache nutzt eine intelligente Speicherstrategie für den Key-Value-Cache (KV-Cache), ein zentrales Element bei der Verarbeitung komplexer Eingaben in großen Sprachmodellen. Traditionell wird dieser Cache nach jeder Anfrage gelöscht – ein Prozess, der nach Ansicht von Tensormeshs CEO Junchen Jiang eine massive Verschwendung von Ressourcen darstellt. „Es ist, als hätte man einen sehr klugen Analysten, der nach jeder Frage alles vergisst“, sagt Jiang. Tensormesh hält den Cache stattdessen in einer sekundären Speicherung und rezykliert ihn bei ähnlichen Anfragen, wodurch sich die inferenzbasierte Auslastung der GPU erheblich steigern lässt. In einigen Fällen senkt das die Kosten um bis zu 10-fach. Die Technologie ist besonders vorteilhaft für Chat-Systeme und agente-basierte Anwendungen, bei denen der Modellkontext kontinuierlich wächst. Obwohl Unternehmen die Funktionalität auch intern implementieren könnten, ist der technische Aufwand hoch: Laut Jiang haben Teams bis zu 20 Ingenieure und mehrere Monate benötigt, um vergleichbare Systeme zu bauen. Tensormesh will nun mit einer kommerziellen Version des Tools den Marktzugang vereinfachen. Die Finanzierung wurde von Laude Ventures geführt, mit zusätzlichen Investitionen von Michael Franklin, einem Pionier im Bereich Datenbanken. Die Strategie zielt darauf ab, wissenschaftliche Exzellenz in eine skalierbare, marktfähige Lösung zu übersetzen – ein Trend, der in der KI-Infrastrukturbranche zunehmend an Bedeutung gewinnt. Industrieexperten sehen in Tensormesh eine vielversprechende Antwort auf die wachsende Herausforderung der inferenzbasierten Effizienz. „Die Optimierung des KV-Cache ist eine der größten Hebel für KI-Infrastruktur-Kosten“, sagt ein KI-Architekt aus dem Silicon Valley. „Wenn man das richtig macht, kann man die Hardwareauslastung um mehr als 50 Prozent steigern.“ Tensormesh positioniert sich damit nicht nur als Tool-Anbieter, sondern als Lösung für ein zentrales Problem der KI-Infrastruktur: die Maximierung der Auslastung bei begrenzten GPU-Ressourcen. Mit Rückendeckung von erfahrenen Investoren und einer starken technischen Basis könnte das Unternehmen schnell zu einem Schlüsselplayer in der KI-Infrastruktur-Ökologie werden.