Retouchdown : Ajout du touchdown à StreetLearn en tant que ressource partageable pour les tâches d’ancrage linguistique dans Street View

Le jeu de données Touchdown (Chen et al., 2019) fournit des instructions rédigées par des annotateurs humains pour la navigation dans les rues de New York et pour la résolution de descriptions spatiales à un emplacement donné. Afin de permettre à la communauté scientifique plus large de travailler efficacement sur les tâches Touchdown, nous mettons publiquement à disposition les 29 000 panoramas Street View bruts nécessaires à ces tâches. Nous suivons le processus utilisé pour le lancement des données StreetLearn (Mirowski et al., 2019) afin de vérifier les panoramas à la recherche d’informations personnelles identifiables, et de les flouter si nécessaire. Ces images ont été intégrées au jeu de données StreetLearn et peuvent être obtenues via le même processus que précédemment pour StreetLearn. Nous fournissons également une implémentation de référence pour chacune des deux tâches Touchdown : navigation vision-langage (VLN) et résolution de descriptions spatiales (SDR). Nous comparons les résultats de notre modèle à ceux rapportés dans Chen et al. (2019), et montrons que les panoramas que nous avons ajoutés à StreetLearn soutiennent pleinement les deux tâches Touchdown et peuvent être utilisés de manière efficace pour des recherches ultérieures et des comparaisons.