MIT und Adobe entwickeln AI-Tool für hochwertige Videoerstellung

Das Massachusetts Institute of Technology (MIT) und Adobe haben gemeinsam ein künstliches Intelligenz (KI)-Videoerstellungs-Tool namens CausVid entwickelt, das es ermöglicht, hochwertige Videos in Sekunden zu generieren. Die Videoqualität erreicht die der führenden Modelle wie OpenSORA und MovieGen, aber CausVid übertrifft diese in der Geschwindigkeit und Stabilität der Erstellung. Die Forscher haben CausVid in einer Reihe von Tests evaluiert, bei denen es Videos von 10 Sekunden bis hin zu 30 Minuten Länge erstellen konnte. In 900 Text-Video-Datensätzen erzielte CausVid eine durchschnittliche Bewertung von 84,27 Punkten, was die Qualität und Stabilität des Modells unterstreicht. Besonders hervorzuheben ist, dass es in den Kategorien Bildqualität und menschliche Bewegung eine überragende Leistung zeigte, die sogar die Modelle Vchitect und Gen-3 übertraf. Ein wesentlicher Vorteil von CausVid ist seine Fähigkeit, Videos in Echtzeit zu generieren. Dieses Modell nutzt eine hybride Architektur, die sowohl autoregressive als auch diffusionbasierte Techniken kombiniert. Autoregressive Modelle sind für ihre Geschwindigkeit bekannt, während diffusionbasierte Modelle für ihre hohe Bildqualität gelobt werden. Durch die Kombination dieser beiden Ansätze kann CausVid Videos schneller und mit höherer Qualität erstellen. Tianwei Yin, einer der Autoren des Studienberichts, betonte, dass die Geschwindigkeit des autoregressiven Modells eine signifikante Rolle bei der Stabilität der Videoerstellung spielt. „Die Geschwindigkeit des autoregressiven Modells hat eine stabile und konsistente Videoqualität“, sagte Yin. „Obwohl die Erstellung schneller erfolgt, bleibt der Preis in Form einer geringeren Vielfalt der visuellen Inhalte relativ klein.“ Um die Leistung von CausVid weiter zu verbessern, können spezifische Domänen-Datensätze verwendet werden, um das Modell auf bestimmte Aufgaben zu trainieren. Dies ermöglicht es, beispielsweise Videos für Maschinen oder Spielindustrie zu produzieren, die eine noch bessere Qualität aufweisen. Jun Yan Zhu, ein Wissenschaftler vom Carnegie Mellon University’s Robotics Institute, der nicht an der Studie beteiligt war, lobte die Innovation von CausVid. „Viele der heutigen Videomodelle sind im Vergleich zu Text- und Bildgenerierungsmodellen sehr langsam in der Verarbeitungsgeschwindigkeit“, erklärte Zhu. „Diese Arbeit zeigt deutlich Verbesserungen in der Generierungseffizienz, was bedeutet, dass die Streamschnelligkeit, die Interaktionsfähigkeit und die Latenz bei Anwendungen reduziert werden können.“ Das Projekt wurde unterstützt durch verschiedene Institutionen, darunter das MIT, das Adobe Research Lab, das US Air Force Research Laboratory sowie das US Air Force Artificial Intelligence Accelerator. CausVid wird im Juni auf der International Conference on Computer Vision and Pattern Recognition (CVPR) präsentiert. Dieses hybride System stellt einen wichtigen Fortschritt in der Entwicklung von KI-basierten Videoerstellungsmodellen dar, insbesondere in Bezug auf die Verarbeitungsgeschwindigkeit. Die Fähigkeit, hochqualitative Videos in Sekunden zu generieren und dabei die Stabilität und Konsistenz zu gewährleisten, könnte revolutionäre Auswirkungen auf Branchen wie Filmproduktion, Werbung und Unterhaltung haben. Die potenziellen Anwendungen sind vielfältig und bieten neue Möglichkeiten für Kreativität und Innovation.