NVIDIA Nemotron anime une maison hantée interactive

Un développeur de NVIDIA a créé pour Halloween une maison interactive baptisée MonsterHouse, projetée sur une porte de garage. Le personnage, présenté comme un ancien bateau pirate hanté devenu bâtiment grincheux, écoute les enfants qui sonnent, répond avec une voix de pirate et accepte de distribuer des friandises si les visiteurs sont polis. L’expérience repose sur une chaîne vocale locale alimentée par NVIDIA Nemotron Voice Agent, avec Nemotron Speech pour la reconnaissance vocale, un modèle de dialogue léger, Magpie TTS Zeroshot pour la synthèse vocale et Audio2Face-3D pour l’animation faciale en temps réel. Pour lui donner vie, l’auteur a d’abord conçu une bouche en bois dans Autodesk Maya, puis intégré le personnage dans Unreal Engine avec des effets de feu et d’éclairage. La bouche a été animée à l’aide d’une rig faciale exportée vers Audio2Face-3D. Le comportement du monstre repose sur un dialogue plus large qu’un simple prompt « sois grincheux ». Il suit une progression narrative: d’abord hostile, il se laisse attendrir par un mot de politesse, puis devient plus chaleureux si l’échange continue. L’aspect conversationnel a été renforcé par une adaptation LoRA entraînée sur plus de 5 000 conversations multi-tours. Le choix du modèle a été guidé par des contraintes locales de mémoire et de calcul. Le modèle Bolt E4B, en version quantifiée sur 4 bits, a été retenu comme cerveau principal, car il offre un meilleur compromis pour un agent interactif exécuté sur une station. D’autres modèles, dont Qwen, ont été comparés, mais n’ont pas semblé aussi adaptés à cette cible embarquée. Le système est réparti sur deux GPU pour préserver la fluidité graphique: un RTX PRO 6000 Blackwell Max-Q exécute la voix et le langage, tandis qu’un RTX PRO 4000 Blackwell assure le rendu Unreal Engine et l’animation. Le pipeline a été optimisé pour commencer à prononcer une réplique avant la fin complète de la génération, réduisant la sensation de délai. En génération standard, la latence entre la fin de la parole et la réponse audio est d’environ 1,70 seconde. Pour les réponses mises en cache, elle tombe à environ 0,72 seconde. La voix est produite par Magpie TTS Zeroshot à partir de courts extraits enregistrés, ce qui permet de reproduire plusieurs tons, du bougonnement au plaisir, sans entraîner une voix complète. Des effets audio ajoutent ensuite profondeur, écho et atmosphère. Une interface de contrôle a été développée pour ajuster les répliques, l’humeur de départ, le traitement vocal et les animations, avec des modes démonstration, conversation et voix directe via micro. Le projet peut aussi intégrer une composante visuelle optionnelle avec Nemotron 3 Nano Omni, capable de décrire les costumes visibles via une caméra. Cette analyse est complétée par YOLO et ByteTrack pour compter et suivre les personnes présentes. Le code complet de MonsterHouse n’est pas publié, mais les modèles NVIDIA utilisés sont accessibles. L’auteur recommande de construire l’expérience à partir de Nemotron Voice Agent, en combinant reconnaissance vocale, petit modèle de dialogue, synthèse vocale, animation faciale et cache audio. Les prochaines étapes prévoient des tests avec de vrais enfants, une animation améliorée et une distribution automatique de friandises.