LABELMAKER : Génération Automatique d'Étiquettes Sémantiques à Partir de Trajectoires RGB-D

Les annotations sémantiques sont indispensables pour entraîner ou évaluer les modèles de perception, mais leur acquisition est très coûteuse. Ce travail présente un cadre entièrement automatisé d’étiquetage 2D/3D qui, sans aucune intervention humaine, peut générer des étiquettes pour des scans RGB-D avec un niveau de précision équivalent (ou supérieur) à celui des jeux de données annotés manuellement comparables, tels que ScanNet. Notre approche repose sur un ensemble de modèles d’segmentation de pointe et sur une transformation 3D par rendu neuronal. Nous démontrons l’efficacité de notre pipeline LabelMaker en produisant des étiquettes nettement meilleures pour les données ScanNet, ainsi qu’en étiquetant automatiquement le jeu de données ARKitScenes, auparavant non annoté. Le code et les modèles sont disponibles à l’adresse https://labelmaker.org