HyperAIHyperAI

Command Palette

Search for a command to run...

オンラインチュートリアル丨40言語対応／1時間の音声処理、NVIDIAがNemotron 3.5 Transcribeをオープンソース化、指示制御による音声認識・翻訳・音声Q&Aを実現

Featured Image

会議の音声を文字に起こした後でも、さまざまな課題が残ることがあります。複数人の発言をどう区別するのか？専門用語を聞き間違えていないか？字幕作成や翻訳も行う場合、音声から直接必要な結果を得られるのか？

NVIDIA が提供する Nemotron 3.5 Transcribe は、こうした異なるニーズを指示で処理することを目指しています。ユーザーは、フィラーや繰り返しを保持した逐語稿の生成を要求できるほか、表現を整えて読みやすいテキストを出力させることもできます。モデルは話者ラベル付け、音声翻訳、言語識別、音声に対する質問応答にも対応しています。 公式のモデルカードによると、40 言語に対応し、最長約 1 時間の音声を処理できます。言語やタスクによってサポートの程度に差があります。

Nemotron 3.5 Transcribe は、Mamba-2 と Transformer を組み合わせた MoE アーキテクチャを採用し、総パラメータ数は約 34B で、各トークンの処理時に約 4.3B のパラメータがアクティブ化されます。音声エンコーダも含まれています。NVIDIA が公開した評価では、英語、長尺音声、多言語音声認識ベンチマークで競争力のある結果を記録しています。オフライン音声処理向けであり、内部にチャンク分割メカニズムを採用しているからといって、リアルタイムのストリーミング文字起こしモデルとして扱うことはできません。

現在、HyperAI には「NVIDIA-Nemotron-3.5-Transcribe-30B-A4B：指示制御による音声認識・翻訳・音声質問応答」が公開されており、環境設定が完了しているため、デプロイのハードルが大幅に下がっています ⬇️

オンラインで実行：

https://go.hyper.ai/oseTI

その他のオンラインチュートリアル：

https://hyper.ai/notebooks

デモページ

デモの実行

  1. hyper.ai のトップページにアクセス後、「チュートリアル」ページを選択するか、「チュートリアルをもっと見る」をクリックし、「NVIDIA-Nemotron-3.5-Transcribe-30B-A4B：指示制御による音声認識・翻訳・音声質問応答」を選択して、「このチュートリアルを実行」をクリックします。
  1. ページが遷移したら、右上の「Clone」をクリックし、このチュートリアルを自分のコンテナにクローンします。

注：ページ右上では言語を切り替えることができます。現在、中国語と英語の 2 言語が提供されています。本チュートリアル記事では、英語を例に手順を示しています。

  1. 「NVIDIA H100」と対応するイメージを選択し、「Continue job execution（実行を続行）」をクリックします。
  1. リソースの割り当てを待ち、ステータスが「Running（実行中）」になったら、「Open Workspace」をクリックして Jupyter Workspace にアクセスします。

効果のデモ

  1. ページが遷移したら、左側の README ファイルをクリックし、開いたら上の「Run（実行）」をクリックします。
  1. 実行が完了したら、右側の API アドレスをクリックすると、デモページにアクセスできます。