HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de correspondance volumétrique pour le flux optique

Deva Ramanan Gengshan Yang

Résumé

De nombreuses tâches classiques en vision par ordinateur — telles que l’estimation du flux optique ou des disparités stéréo — peuvent être formulées comme des problèmes de correspondance dense. Les méthodes bien établies pour résoudre ces problèmes exploitent une « volume de coût », généralement un tenseur 4D représentant les coûts de correspondance entre tous les pixels d’une image 2D et leurs potentiels correspondants dans une fenêtre de recherche 2D. Les réseaux profonds d’avant-garde (SOTA) pour le flux optique ou la stéréo utilisent ces représentations volumétriques comme couches internes. Toutefois, ces couches nécessitent des quantités importantes de mémoire et de calcul, ce qui les rend peu pratiques à utiliser en pratique. En conséquence, les réseaux SOTA recourent également à diverses heuristiques visant à limiter le traitement volumétrique, entraînant une précision limitée et un surapprentissage. À la place, nous proposons plusieurs modifications simples qui simplifient considérablement l’utilisation des couches volumétriques : (1) des architectures encodeur-décodeur volumétriques capables d’extraire efficacement de grands champs réceptifs, (2) des volumes de coût multi-canaux permettant de capturer des notions multidimensionnelles de similarité entre pixels, et enfin (3) un filtrage volumétrique séparable qui réduit fortement la charge computationnelle et le nombre de paramètres tout en préservant la précision. Nos innovations améliorent de manière significative la précision par rapport aux méthodes SOTA sur des benchmarks standards, tout en étant nettement plus faciles à manipuler : l’entraînement converge en 10 fois moins d’itérations, et surtout, nos réseaux généralisent efficacement à différentes tâches de correspondance. L’adaptation dynamique de la fenêtre de recherche permet de réutiliser des réseaux de flux optique pour la stéréo (et inversement), et peut également être exploitée pour concevoir des réseaux adaptatifs capables d’agrandir sur demande la taille de la fenêtre de recherche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseaux de correspondance volumétrique pour le flux optique | Articles | HyperAI