Un Modèle de Fond en Mouvement Profond pour Caméra Mobile

Dans l'analyse vidéo, les modèles de fond ont de nombreuses applications telles que la séparation du fond et du premier plan, la détection de changements, la détection d'anomalies, le suivi, et bien d'autres. Cependant, tandis que l'apprentissage d'un tel modèle dans une vidéo capturée par une caméra statique est une tâche assez résolue, dans le cas d'un Modèle de Fond à Caméra Mobile (MCBM), le succès a été beaucoup plus modeste en raison des défis algorithmiques et de mise à l'échelle qui émergent en raison du mouvement de la caméra. Par conséquent, les MCBMs existants sont limités dans leur portée et les types de mouvements de caméra qu'ils supportent. Ces obstacles ont également entravé l'utilisation, dans cette tâche non supervisée, de solutions basées sur l'apprentissage profond (DL) en bout-à-bout. De plus, les MCBMs existants modélisent généralement le fond soit dans le domaine d'une image panoramique typiquement grande, soit de manière en ligne. Malheureusement, la première approche crée plusieurs problèmes, notamment une mauvaise scalabilité, tandis que la seconde empêche la reconnaissance et l'exploitation des cas où la caméra revisite des parties précédemment vues de la scène. Ce papier propose une nouvelle méthode appelée DeepMCBM qui élimine tous les problèmes mentionnés précédemment et obtient des résultats d'état de l'art. Plus précisément, nous identifions d'abord les difficultés liées au calibrage conjoint des images vidéo en général et dans un contexte d' apprentissage profond (DL) en particulier. Ensuite, nous proposons une nouvelle stratégie pour le calibrage conjoint qui nous permet d'utiliser un réseau de transformateur spatial sans régularisation ni aucune forme d'initialisation spécialisée (et non différentiable). Associé à un autoencodeur conditionné par des moments centraux robustes non déformés (obtenus à partir du calibrage conjoint), cela produit un MCBM en bout-à-bout exempt de régularisation qui supporte une large gamme de mouvements de caméra et s'adapte gracieusement à l'échelle. Nous démontrons l'utilité de DeepMCBM sur une variété de vidéos, y compris celles qui sortent du cadre des autres méthodes. Notre code est disponible sur https://github.com/BGU-CS-VIL/DeepMCBM.