Voxtral 3 führt Echtzeit-Sprachagenten-SDK ein

Mistral hat Voxtral 3 veröffentlicht, eine neue Familie von Sprachmodellen und ein Entwicklungssystem für Sprachagenten in Echtzeit. Das System ist für komplexe, mehrstufige Gespräche ausgelegt und kombiniert genaues Zuhören, kontextbezogene Schlussfolgerungen, natürliche Sprachausgabe sowie die Anbindung an externe Geschäftssysteme. Es richtet sich an Contact-Center, Service-Desks, virtuelle Assistenten und freihändige Copiloten. Der Kern von Voxtral 3 umfasst Transkription und Sprachsynthese. Das Transkriptionsmodell unterstützt mehr als 50 Sprachen, darunter viele offizielle EU-Sprachen sowie Niedrigressourcensprachen, erkennt den Wechsel zwischen Sprechern und lässt sich über Schlüsselbegriffe auf Fachvokabular anpassen. Ein Echtzeitmodell liefert Transkriptionen in über 35 Sprachen mit Latenzen unter 500 Millisekunden. Zudem erkennt es, wann Nutzer den Satz beendet haben, damit Agenten schnell reagieren können, ohne vorzeitig zu unterbrechen. Das Sprachsynthesemodell Voxtral Speech 3 erzeugt Antworten in mehr als 35 Sprachen und über 50 Dialekten. Es passt Emotion, Tempo und Betonung an den Gesprächskontext an und soll dadurch natürlicher wirken. Für hochwertige Stimmklone können laut Mistral bereits 30 Minuten Audio ausreichen. Die Ausgabe kann über Vorgaben zu Emotion, Sprechtempo und Betonung gesteuert werden. Das mitgelieferte Entwicklungssystem auf Basis von LiveKit führt Zuhören, Nachdenken, Werkzeugaufrufe und Sprechen in einer durchgehenden Echtzeitpipeline zusammen. Dabei erkennt das Transkriptionsmodell das Ende einer Nutzeräußerung, ein Sprachmodell wie Mistral Small analysiert den Inhalt und ruft bei Bedarf Funktionen auf, und Voxtral Speech 3 antwortet sprachlich passend zum bisherigen Gespräch. Die Agenten können Identitäten prüfen, Rechnungen einsehen, Termine buchen oder über Websuche und Informationsabruf auf eigene Systeme zugreifen. Sie sind über SIP, WebRTC und gängige Contact-Center-Software integrierbar, auch in Browsern und Apps. Wie andere Mistral-Modelle ist Voxtral 3 auf souveräne Bereitstellung ausgelegt. Unternehmen können die Modelle über europäisch gehostete API-Endpunkte nutzen oder in eigener Infrastruktur betreiben. Das soll die Kontrolle über Audioverarbeitung, Datenaufbewahrung und Gesprächsprotokollierung verbessern. Voxtral 3 ist ab sofort über die Mistral-API verfügbar; Preise beginnen bei 0,0035 US-Dollar pro Minute für Batch-Transkription und 13 US-Dollar pro Million Zeichen für Sprachsynthese.