BiFormer : Apprentissage de l'estimation bilatérale du mouvement par Transformer bilatéral pour l'interpolation de trames vidéo 4K

Dans cet article, nous proposons un nouvel interpolateur de trames vidéo 4K basé sur un transformateur bilatéral (BiFormer), qui effectue trois étapes : estimation du mouvement global, raffinement du mouvement local et synthèse de trame. Premièrement, dans l’étape d’estimation du mouvement global, nous prédisons des champs de mouvement bilatéraux symétriques à une échelle grossière. À cette fin, nous introduisons BiFormer, le premier estimateur de mouvement bilatéral basé sur un transformateur. Deuxièmement, nous raffinons efficacement les champs de mouvement globaux à l’aide de volumes de coût bilatéraux par blocs (BBCVs). Troisièmement, nous déformons les trames d’entrée à l’aide des champs de mouvement raffinés et les fusionnons pour synthétiser une trame intermédiaire. Des expériences étendues démontrent que l’algorithme BiFormer proposé atteint des performances d’interpolation exceptionnelles sur des jeux de données 4K. Les codes sources sont disponibles à l’adresse suivante : https://github.com/JunHeum/BiFormer.