La génération vidéo est une technique générative qui utilise des modèles d'intelligence artificielle pour créer, modifier ou compléter automatiquement du contenu vidéo. Son objectif est de générer un contenu dynamique, présentant une continuité temporelle et une cohérence visuelle, à partir de descriptions textuelles, d'images, d'extraits vidéo ou d'autres informations contextuelles. Cette technologie combine vision par ordinateur, modèles génératifs, apprentissage multimodal et compréhension vidéo, et constitue l'un des axes de recherche majeurs dans le domaine de la génération de contenu par IA.

Le développement de la génération vidéo s'appuie sur des recherches de longue haleine dans de multiples domaines, notamment la génération d'images, la prédiction vidéo et la vision par ordinateur. Les premières méthodes reposaient principalement sur la génération d'animations à base de règles, l'assemblage vidéo et les techniques de modélisation visuelle traditionnelles, ce qui limitait leurs capacités de génération et la diversité de leur contenu. Avec le développement des réseaux antagonistes génératifs (GAN), des modèles de diffusion et des modèles visuels pré-entraînés à grande échelle, les chercheurs ont commencé à explorer l'utilisation de modèles génératifs profonds pour apprendre directement les distributions des données vidéo. En 2022, des chercheurs de Meta AI ont publié un article… Make-A-Video : Génération de vidéos à partir de texte sans données textuelles. Cet article propose une méthode de génération de texte à partir de vidéos qui utilise des données image-texte et des stratégies d'apprentissage vidéo pour parvenir à une génération vidéo pilotée par le texte en l'absence de données de couplage texte-vidéo à grande échelle, devenant ainsi l'une des études représentatives importantes dans le domaine de la génération de texte à partir de vidéos.

Les systèmes modernes de génération vidéo s'appuient généralement sur des modèles de diffusion, des méthodes de modélisation spatio-temporelle et des techniques de modélisation multimodale à grande échelle pour convertir des invites textuelles, des conditions d'image ou d'autres signaux de contrôle en contenu vidéo continu. Comparée aux flux de production vidéo traditionnels, la génération vidéo par IA permet de réduire certains coûts de création de contenu et d'améliorer l'efficacité de la génération et du montage vidéo. Actuellement, cette technologie est largement utilisée dans des domaines tels que les bandes-annonces de films et de séries télévisées, la production publicitaire, la génération de contenu pour jeux vidéo, les démonstrations pédagogiques, la création de personnages virtuels et la création de médias numériques. Toutefois, des défis subsistent en matière de cohérence à long terme, de compréhension des lois physiques, de contrôle des détails et de fiabilité de la génération.