Vers une estimation robuste de la profondeur monoculaire : mélange de jeux de données pour un transfert croisé sans apprentissage préalable

Le succès de l'estimation de profondeur monoculaire repose sur des ensembles d'entraînement importants et variés. En raison des défis liés à l'acquisition de profondeurs de terrain denses dans différentes environnements à grande échelle, plusieurs jeux de données présentant des caractéristiques et des biais distincts ont émergé. Nous développons des outils permettant de mélanger plusieurs jeux de données pendant l'entraînement, même si leurs annotations sont incompatibles. Plus particulièrement, nous proposons un objectif d'entraînement robuste qui est invariant aux changements de plage et d'échelle de profondeur, nous prônons l'utilisation d'un apprentissage multi-objectifs fondé sur des principes pour combiner les données provenant de différentes sources, et nous soulignons l'importance du pré-entraînement des encodeurs sur des tâches auxiliaires. Munis de ces outils, nous expérimentons avec cinq jeux de données d'entraînement variés, y compris une nouvelle source massive : les films 3D. Pour démontrer la puissance de généralisation de notre approche, nous utilisons le transfert trans-jeu-de-données sans supervision (zero-shot cross-dataset transfer), c'est-à-dire que nous évaluons sur des jeux de données qui n'ont pas été utilisés lors de l'entraînement. Les expériences confirment que le mélange de données provenant de sources complémentaires améliore considérablement l'estimation de profondeur monoculaire. Notre approche dépasse clairement les méthodes concurrentes sur divers jeux de données, établissant un nouveau niveau d'excellence pour l'estimation de profondeur monoculaire. Certains résultats sont présentés dans la vidéo supplémentaire disponible à l'adresse suivante : https://youtu.be/D46FzVyL9I8