NVIDIA Nemotronが動かす声の対話型ハロウィンハウス

エヌビディアの技術者が、オープンモデルを使ったハロウィン向け対話装置「モンスターハウス」を構築した。ネモトロン音声エージェントを基盤に、音声認識、ネモトロン・ボルト小規模言語モデル、マグパイのゼロショット音声合成、オーディオツーフェースの顔アニメーションを統合し、1台のワークステーションで動作させた。設定は海賊船の木で建てられた気難しい家で、無礼な来訪者をあしらい、丁寧な言葉で心を開く対話演出を組み込む。応答には量子化モデルを使い、追加学習で口調と会話状態の追跡を調整した。断片化発話と音声保存で遅延を抑え、通常は約1.7秒、定型応答では約0.7秒とした。合成声の感情選択とアンリアルエンジン上の口元同期も制御し、操作画面で発話、感情、視覚効果、カメラ状態を管理する。視覚言語モデルによる衣装認識や、実来訪者での検証、キャンディ配布自動化、無人運用が次の課題だ。今回の試作は、ローカル環境で音声対話と表情を融合し、低遅延の対話型キャラクターを作れることを示す。