Réseaux de correspondance volumétrique pour le flux optique

De nombreuses tâches classiques en vision par ordinateur — telles que l’estimation du flux optique ou des disparités stéréo — peuvent être formulées comme des problèmes de correspondance dense. Les méthodes bien établies pour résoudre ces problèmes exploitent une « volume de coût », généralement un tenseur 4D représentant les coûts de correspondance entre tous les pixels d’une image 2D et leurs potentiels correspondants dans une fenêtre de recherche 2D. Les réseaux profonds d’avant-garde (SOTA) pour le flux optique ou la stéréo utilisent ces représentations volumétriques comme couches internes. Toutefois, ces couches nécessitent des quantités importantes de mémoire et de calcul, ce qui les rend peu pratiques à utiliser en pratique. En conséquence, les réseaux SOTA recourent également à diverses heuristiques visant à limiter le traitement volumétrique, entraînant une précision limitée et un surapprentissage. À la place, nous proposons plusieurs modifications simples qui simplifient considérablement l’utilisation des couches volumétriques : (1) des architectures encodeur-décodeur volumétriques capables d’extraire efficacement de grands champs réceptifs, (2) des volumes de coût multi-canaux permettant de capturer des notions multidimensionnelles de similarité entre pixels, et enfin (3) un filtrage volumétrique séparable qui réduit fortement la charge computationnelle et le nombre de paramètres tout en préservant la précision. Nos innovations améliorent de manière significative la précision par rapport aux méthodes SOTA sur des benchmarks standards, tout en étant nettement plus faciles à manipuler : l’entraînement converge en 10 fois moins d’itérations, et surtout, nos réseaux généralisent efficacement à différentes tâches de correspondance. L’adaptation dynamique de la fenêtre de recherche permet de réutiliser des réseaux de flux optique pour la stéréo (et inversement), et peut également être exploitée pour concevoir des réseaux adaptatifs capables d’agrandir sur demande la taille de la fenêtre de recherche.