Haute résolution multi-échelle RAFT (Robust Vision Challenge 2022)

Dans ce rapport, nous présentons notre approche de calcul du flux optique, MS-RAFT+, qui a remporté le Robust Vision Challenge 2022. Cette méthode s'appuie sur l'approche MS-RAFT, qui intègre avec succès plusieurs concepts multi-échelles dans un cadre mono-échelle de RAFT. Notre méthode étend cette approche en exploitant une échelle supplémentaire plus fine pour estimer le flux, rendue possible grâce à un calcul des coûts effectué sur demande. Grâce à cette stratégie, elle peut non seulement fonctionner à la moitié de la résolution initiale, mais aussi utiliser le module de redressement convexe partagé de MS-RAFT afin d’obtenir un flux à résolution complète. En outre, notre méthode repose sur un schéma d’ajustement fin ajusté durant l’entraînement, visant à améliorer la généralisation sur différents benchmarks. Parmi toutes les méthodes participantes au Robust Vision Challenge, notre approche obtient la première place sur VIPER et la deuxième place sur KITTI, Sintel et Middlebury, ce qui lui confère la première position au classement général.