Voxtral 3、音声認識・生成モデルとエージェントSDKを提供開始

Mistral AIは、音声認識、音声合成、エージェント制御を統合したVoxtral 3を発表した。50言語以上に対応する高精度な文字起こし、会話文脈に応じて感情や話速を調整する音声生成、ツール連携を伴う多段の会話実行を、リアルタイムのストリーミングパイプラインで実現する。同社は、音声エージェントに求められる聞き取り、推論、発話、行動を同時に高い精度で処理する課題に対応したとしている。 音声認識では、Voxtral Small Transcribe 3が50言語以上で話者分離、文脈バイアス、発話終了判定に対応し、WhisperやGemini 3.5 Transcribeなどとの比較で高い精度を主張する。Voxtral Mini Transcribe 3は低コストでの高速処理を担い、リアルタイム版では35言語以上で500ミリ秒未満の遅延を狙う。音声合成のVoxtral Mini TTS 3は35言語以上と50以上の方言で、文脈に即した感情表現や話者固有の声の再現を可能にするという。 また、LiveKit上に構築された音声エージェントSDKは、音声入力から推論、ツール呼び出し、音声出力を一気通貫で処理し、1ターンを1秒未満で完了できるとする。ユーザーの割り込みを受け付けながら、通話認証、請求確認、予約、業務システム連携、Web検索、社内データの検索などを実行できる。SIPやWebRTC経由で電話網、ブラウザ、アプリ、既存のIVRやコンタクトセンターに接続し、モデルや音声、言語を交換できる設計という。MistralのEUや米国、世界のAPIで利用でき、自社環境へのオンプレミス展開や音声データの保持ポリシー管理も可能だ。料金は音声認識が1分あたり0.0035ドルから、音声合成が100万文字あたり13ドルなどで提供される。