SHAKTI: Ein kleiner Sprachmodell mit 2,5 Milliarden Parametern, optimiert für Edge-AI und ressourcenarme Umgebungen

Wir stellen Shakti vor, ein Sprachmodell mit 2,5 Milliarden Parametern, das speziell für ressourcenbeschränkte Umgebungen wie Edge-Geräte – einschließlich Smartphones, Wearables und IoT-Systeme – optimiert ist. Shakti vereint hohe Leistung in der natürlichen Sprachverarbeitung (NLP) mit optimierter Effizienz und Genauigkeit und eignet sich daher ideal für Echtzeit-KI-Anwendungen, bei denen Rechenleistung und Speicher begrenzt sind. Durch die Unterstützung von Umgangssprachen und domain-spezifischen Aufgaben zeigt Shakti herausragende Leistung in Branchen wie Gesundheitswesen, Finanzdienstleistungen und Kundenservice. Benchmark-Tests belegen, dass Shakti gegenüber größeren Modellen wettbewerbsfähig abschneidet, während gleichzeitig niedrige Latenz und Effizienz direkt auf dem Gerät gewährleistet werden. Damit positioniert sich Shakti als eine führende Lösung für Edge-KI.