Splatting de Softmax pour l'interpolation de trames vidéo

L’échantillonnage différentiable d’images sous la forme de warp arrière a connu une adoption large dans des tâches telles que l’estimation de profondeur et la prédiction du flux optique. En revanche, la manière de réaliser un warp avant a reçu moins d’attention, en partie à cause des défis supplémentaires liés à la résolution du conflit provenant de l’attribution de plusieurs pixels sources à la même position cible de manière différentiable. Nous proposons une méthode appelée softmax splatting afin de relever ce défi et démontrons son efficacité dans le cadre de l’interpolation de trames. Plus précisément, étant donné deux trames d’entrée, nous effectuons un warp avant des trames ainsi que de leurs représentations hiérarchiques en features à l’aide d’une estimation de flux optique, en utilisant le softmax splatting. Cette approche permet de gérer de manière fluide les cas où plusieurs pixels sources sont projetés sur la même position cible. Nous utilisons ensuite un réseau de synthèse pour prédire le résultat d’interpolation à partir des représentations ainsi transformées. Grâce au softmax splatting, notre méthode permet non seulement d’interpoler des trames à un instant arbitraire, mais aussi d’ajuster finement la hiérarchie de features et le flux optique. Nous montrons que notre approche de synthèse, rendue possible par le softmax splatting, atteint de nouveaux résultats de pointe dans le domaine de l’interpolation de trames vidéo.