MonsterHouse nutzt NVIDIA Nemotron Open Models

Ein für Halloween entwickeltes Interaktionsprojekt zeigt, wie NVIDIA-Komponenten einen lokal betriebenen, sprechenden Charakter ermöglichen. Unter dem Namen MonsterHouse verwandelt eine aufwendig animierte Garagentor-Fassade ein Einfamilienhaus in einen grantelnden, sprechenden Geist, der Kindern über NVIDIA Nemotron Voice Agent zuhört, antwortet und Süßigkeiten übergibt. Das System arbeitet vollständig lokal auf einer Workstation und verzichtet auf Cloud-Dienste. Die Grundlage bildet eine aus mehreren offenen Modellen aufgebaute Sprachpipeline. Nemotron Speech ASR übernimmt die Spracherkennung, Nemotron 3.5 Bolt E4B dient als lokal laufende Dialogsteuerung, und Magpie TTS Zeroshot erzeugt mit wenigen Referenzsekunden die Stimme des Charakters. Audio2Face-3D synchronisiert die gesprochene Ausgabe mit einer in Autodesk Maya erstellten 3D-Fassade, die in Unreal Engine mit Flammen und Effekten hinterlegt wird. Für die Performance verteilen sich Sprachverarbeitung und Rendering auf zwei GPUs, eine NVIDIA RTX PRO 6000 Blackwell Max-Q und eine RTX PRO 4000 Blackwell. Charakteristisch ist nicht nur die Technik, sondern die inszenierte Konversation: Das Haus reagiert zunächst abweisend, wird aber durch Höflichkeit besänftigt. Entwicklerlogik hält den Gesprächszustand vor, während LoRA-Adapter den Ton stabilisieren. Ein Puffer vorbereiteter Antworten und gespeicherter Audio-Samples verkürzt Reaktionszeiten; im Test erzielte das Team mit quantisiertem Modell und Sprachsynthese eine Medianlatenz von 1,70 Sekunden ab Erkennungsende, bei zwischengespeicherten Antworten 0,72 Sekunden. Ergänzend kann NVIDIA Nemotron 3 Nano Omni als optionales Vision-Subagent Modell Kameraaufnahmen auswerten und Kostüme beschreiben. Zusammen mit Objektorkennung und Verfolgung via YOLO und ByteTrack erkennt der Charakter Gruppen und löst automatische Begrüßungen aus. Dieser Bereich ist noch experimentell und für reale Besucher nicht vollständig getestet. Insgesamt demonstriert MonsterHouse einen offenen Baukasten für lokal laufende, expressive interaktive Figuren: vom Sprachverständnis über personalisierte Sprachsynthese bis zur Echtzeit-Gesichtsanimation. Der Code des Projekts wird nicht verteilt, die verwendeten NVIDIA-Modelle und Werkzeuge sind jedoch verfügbar.