FLUX-mimic: Video-Aktionsmodell steuert Roboter
Black Forest Labs und der Robotikspezialist mimic Robotics haben mit FLUX-mimic ein neues Video-Aktionsmodell vorgestellt, das auf dem Multimodal-Fundamentmodell FLUX 3 basiert. Die Kooperation vereint die visuelle KI-Forschung von Black Forest Labs mit der Expertise von mimic in roboterbasierter Lern- und Produktionstechnologie. Das System demonstriert, dass eine einzige, auf visueller Intelligenz aufgebaute Grundlage gleichzeitig für die Mediengenerierung und die physische Steuerung von Robotern genutzt werden kann. FLUX 3 wurde von Grund auf für die gemeinsame Generierung von Bildern, Video und Audio trainiert. Der überwiegende Teil der Rechenlast von mehr als neunzig Prozent fließt in die Videovorhersage. Dadurch lernt das Modell zwangsläufig physikalische Prinzipien wie Kontakt, Bewegung, Trägheit und Kausalzusammenhänge. Die Integration von Roboteraktionen erfolgt als weitere, niedrigdimensionale Repräsentation derselben zugrunde liegenden physikalischen Realität. Beim Hinzufügen der Aktionsvorhersage kam es lediglich zu einer kurzzeitigen Qualitätsabweichung bei der Videogenerierung, die sich nach dreitausendfünfhundert Trainingsschritten vollständig erholte, ohne die Kapazität des Modells dauerhaft zu beeinträchtigen. Zur Realisierung von FLUX-mimic setzte das Team auf die Selbstfluss-Methode, die Generierungs- und Repräsentationslernen vereinheitlicht. Ein leichtgewichtiger Aktionsdecoder extrahiert daraufhin die relevanten Weltrepräsentationen aus den zwischengeschalteten Schichten des FLUX-Backbones. Dies ermöglicht eine deutlich gesteigerte Stichprobeneffizienz: Das System benötigt bis zu zehnmal weniger Demonstrationsdaten als klassische Vision-Language-Action-Modelle und gleicht Fehlausführungen durch sein tiefes physikalisches Verständnis automatisch aus. In der Praxis wurde FLUX-mimic bei Audi in der Automobilproduktion erfolgreich getestet und eingesetzt. Die Roboter bewältigen komplexe Aufgaben im Bereich der Bauteilvorbereitung, dem Einführen von Steuergeräten in enge Halterungen sowie dem Umgang mit weichen, flexiblen Materialien wie Dichtungen und Kabeln, die herkömmliche Automatisierungssysteme an ihre Grenzen bringen. Unabhängig vom Fine-Tuning übertreffen die Vorhersagen etablierte Referenzmodelle; bei gemeinsamer Anpassung von Backbone und Decoder werden State-of-the-Art-Erfolgsraten erreicht. Die Systemarchitektur ist zudem auf industrielle Echtzeitanforderungen ausgelegt. Auf einer einzelnen NVIDIA RTX 5090 benötigt der Backbone weniger als achtzig Millisekunden für die Vorverarbeitung, was einer menschlichen visuellen Reaktionszeit entspricht. Durch optimierte Datenübertragung und parallele Vorhersage- sowie Ausführungsschritte liegt die Gesamt-Reaktionszeit des Robotersystems bei hundertein Millisekunden. Die Initiative unterstreicht den strategischen Ansatz von Black Forest Labs, physische Intelligenz nicht als neuen Entwicklungszweig, sondern als natürliche Erweiterung des multimodalen Fundaments zu behandeln. FLUX-mimic beweist, dass eine vereinheitlichte Modellarchitektur die Lücke zwischen simulierter Wissensgenerierung und realer Produktionsautomation schließt und damit die Grundlage für eine hochflexible, wirtschaftlich skalierbare Fertigungstechnik bildet.
