AI Playground : Outil d'ablation de données basé sur Unreal Engine pour l'apprentissage profond

L'apprentissage automatique nécessite des données, mais l'acquisition et l'étiquetage de données réelles sont difficiles, coûteuses et chronophages. Plus important encore, il est presque impossible de modifier les données réelles après leur acquisition (par exemple, changer l'éclairage d'une pièce), ce qui rend très difficile la mesure de l'impact de propriétés spécifiques des données sur les performances. Dans cet article, nous présentons AI Playground (AIP), un outil open-source basé sur Unreal Engine pour la génération et l'étiquetage de données d'images virtuelles. Avec AIP, il est trivial de capturer la même image dans différentes conditions (par exemple, fidélité, éclairage, etc.) et avec différentes vérités terrain (par exemple, valeurs de profondeur ou normales de surface). AIP est facilement extensible et peut être utilisé avec ou sans code. Pour valider notre outil proposé, nous avons généré huit ensembles de données identiques sauf pour les conditions d'éclairage et de fidélité variables. Nous avons ensuite formé des réseaux neuronaux profonds pour prédire (1) les valeurs de profondeur, (2) les normales de surface ou (3) les étiquettes d'objets, et nous avons évalué les performances intra-ensemble et inter-ensembles de chaque réseau. Parmi autres constatations, nous avons vérifié que la sensibilité à différents paramètres dépend du problème. Nous avons confirmé les résultats d'autres études selon lesquelles les modèles de segmentation sont très sensibles à la fidélité, mais nous avons également découvert qu'ils sont tout aussi sensibles à l'éclairage. En revanche, les modèles d'estimation de profondeur et de normales semblent moins sensibles à la fidélité ou à l'éclairage et plus sensibles à la structure de l'image. Enfin, nous avons testé nos réseaux formés pour l'estimation de profondeur sur deux ensembles de données réelles et obtenu des résultats comparables à ceux obtenus par une formation uniquement sur des données réelles, confirmant ainsi que nos environnements virtuels sont suffisamment réalistes pour des tâches dans le monde réel.