ZeroFlow : Écoulement de Scène Scalable par Distillation

L'estimation du flux de scène est la tâche qui consiste à décrire le champ de mouvement 3D entre des nuages de points successifs dans le temps. Les méthodes d'avant-garde utilisent des a priori forts et des techniques d'optimisation en temps de test, mais nécessitent plusieurs dizaines de secondes pour traiter des nuages de points de taille complète, ce qui les rend inutilisables comme primitives de vision par ordinateur pour des applications en temps réel telles que la détection d'objets dans un monde ouvert. Les méthodes feedforward sont considérablement plus rapides, fonctionnant en quelques dizaines à quelques centaines de millisecondes pour des nuages de points de taille complète, mais nécessitent une supervision humaine coûteuse. Pour surmonter ces deux limitations, nous proposons l'estimation du Flux de Scène par Distillation, un cadre simple et évolutif qui utilise une méthode d'optimisation sans étiquette pour produire des pseudo-étiquettes afin de superviser un modèle feedforward. Notre mise en œuvre de ce cadre, appelée ZeroFlow, atteint des performances d'avant-garde sur le défi Argoverse 2 Self-Supervised Scene Flow tout en n'utilisant aucune étiquette humaine grâce à une formation sur des données non étiquetées à grande échelle et diversifiées. En temps de test, ZeroFlow est plus de 1000 fois plus rapide que les méthodes d'optimisation d'avant-garde sans étiquette pour les nuages de points de taille complète (34 IPS contre 0,028 IPS) et plus de 1000 fois moins coûteux à former sur des données non étiquetées comparé au coût d'annotation humaine (394 $ contre environ 750 000 $). Pour faciliter la recherche future, nous mettons à disposition notre code source, les poids du modèle formé et des pseudo-étiquettes de haute qualité pour les jeux de données Argoverse 2 et Waymo Open sur https://vedder.io/zeroflow.html.