Adobe Firefly: KI-Features für Videos erweitert, nun mit Soundeffekten

Adobe Firefly kann nun künstliche Klangeffekte für Videos generieren – und ich bin beeindruckt Vor knapp einem Jahr und halb bot Adobe Firefly noch die Möglichkeit, hocheffiziente Bilder aus Text zu erzeugen, wobei Benutzer Anpassungsoptionen wie Referenzbilder zur Verfügung standen. Seitdem hat Adobe seine Schwerpunkte verlagert und sich auf die Generierung von Text-zu-Video-Inhalten konzentriert, um den Konkurrenzdruck zu erhöhen. Am Donnerstag gab Adobe eine Reihe von Verbesserungen seiner Video-Fähigkeiten bekannt, die den Benutzern mehr Kontrolle über die endgültige Generierung, mehr Optionen zur Erstellung von Videos und sogar weitere Modalitäten bieten. Eine der neuesten Funktionen, Generate Sound Effects (Beta), ermöglicht es Benutzern, benutzerdefinierte Klangeffekte durch das Einfügen einer Textbeschreibung zu erstellen. Für noch mehr Kontrolle können Benutzer ihre Stimme verwenden, um das gewünschte Tempo, Rhythmus und die Intensität des zu generierenden Klangs vorzugeben. Zum Beispiel, wenn man den Laut eines Löwenbrüllens generieren möchte, der dem Öffnen und Schließen des Mauls des Videoprotagonisten entspricht, kann man das Video beobachten, einen Clip aufnehmen, bei dem man selbst den Lärm nachahmt, und diesen mit einer Textanweisung ergänzen, die den gewünschten Klang beschreibt. Danach werden mehrere Optionen angeboten, aus denen der Benutzer diejenige auswählen kann, die am besten zur Stimmung des Projekts passt. Andere Video-Generierungsmodelle wie Veo 3 können zwar ebenfalls Klang mit Text generieren, aber das Besondere an dieser Funktion ist die Kontrolle, die Benutzer haben, wenn sie ihr eigenes Audio einfügen. Vor der Veröffentlichung hatte ich Gelegenheit, eine Live-Demonstration der Funktion zu sehen. Es war wirklich beeindruckend, wie gut das generierte Audio dem Fluss des eingegebenen Audios entsprach, während es gleichzeitig die Textanweisung berücksichtigte, um einen Klang zu erzeugen, der tatsächlich dem gewünschten Output entsprach – auch wenn der Demoer sein Bestes gab, um wie ein Löwe ins Mikrofon zu brüllen. Eine weitere Beta-Funktion ist Text to Avatar, die es Benutzern ermöglicht, Skripte in avataargesteuerte Videos umzuwandeln, die so aussehen, als würde eine lebende Person das Skript vorlesen. Bei der Auswahl eines Avatars kann man durch die Bibliothek blättern, einen benutzerdefinierten Hintergrund und Akzente auswählen und Firefly den finalen Output erstellen lassen. Adobe nennt einige potenzielle Anwendungsfälle für diese Funktion, darunter die Erstellung interaktiver Videolektionen mit einem virtuellen Präsentator, die Umwandlung von Textinhalten in Videobeiträge für soziale Medien oder das Verleihen von Materialien einem „menschlichen Touch“ – ironischerweise. Adobe hat auch einige praktische und einfache Funktionen eingeführt, die die Video-Generierungserfahrung der Benutzer verbessern. Eine davon ist Composition Reference for Video, die es Benutzern ermöglicht, ein Referenzvideo hochzuladen und diese Komposition dann der neuen Generierung hinzuzufügen. Dies ist besonders nützlich für Kreativprofis, die auf generative Videos angewiesen sind, da selbst die best geschriebenen Beschreibungen oft nur einen Teil des visuellen Eindrucks erfassen, den man sich vorstellt. Jetzt muss man weniger erklären und das Modell versteht dennoch das Ziel. In der Live-Demonstration sah das endgültige Output sehr gut dem Referenzbild ähnlich. Ein neues Style Presets-Feature ermöglicht es Benutzern, den visuellen Stil ihrer Videos durch das Anwählen eines Voreinstellungs-Typs mit einem Tastendruck anzupassen. Zu den verfügbaren Stilen gehören Claymation, Anime, Linienkunst, Vektorgrafik, Schwarz-Weiß und viele mehr. Das neue Enhance Prompt-Feature innerhalb des Generate Video-Moduls auf der Firefly-Website hilft Benutzern, das gewünschte Ergebnis zu erreichen, indem es zusätzliche Sprachelemente zum ursprünglichen Prompt hinzufügt, damit Firefly die Absichten besser verstehen kann. Zudem wurde das Keyframe Cropping-Feature hinzugefügt, das es Benutzern ermöglicht, die ersten und letzten Frames hochzuladen, zu spezifizieren, wie das Bild zugeschnitten werden soll, eine Szenebeschreibung hinzuzufügen und dann einen Video-Output zu generieren, der den Anforderungen entspricht. Adobe hat außerdem Verbesserungen an seinem Firefly Video Modell vorgenommen, die die Bewegungstreue erhöhen. Dies bedeutet, dass die generierten Videos flüssiger und natürlicher bewegen, realistische Physik besser nachahmen. Dies ist besonders wichtig bei der Generierung von Videos, die Tiere, Menschen oder Natur zeigen. Adobe fügt zudem kontinuierlich mehr Modelle zu seinem Video-Generator hinzu, sodass Benutzer verschiedene Stile vom Markt an einem Ort ausprobieren können. Nun werden Topaz’s Image und Video Upscalers sowie Moonvalley’s Marey zu Firefly Boards hinzugefügt. Auch Luma AI’s Ray 2 und Pika 2.2 werden dem Generate Video-Modul hinzugefügt. Insgesamt sind diese Neuerungen von Adobe Firefly ein wichtiger Schritt voran für kreative Profis. Die Fähigkeit, sowohl visuelle als auch akustische Elemente mit hoher Genauigkeit zu generieren, wird die Produktion von Videos erheblich vereinfachen und effizienter gestalten. Brancheninnenausgeber loben die fortschrittlichen Technologien und die Benutzerfreundlichkeit von Firefly, die es im Wettbewerb stark positionieren. Adobe, ein führender Anbieter von Kreativsoftware, zeigt hiermit erneut, dass es die Bedürfnisse der modernen Mediaindustrie versteht und innovative Lösungen anbietet.