SuperCaustics : Simulation en temps réel et open-source d'objets transparents pour les applications d'apprentissage profond

Les objets transparents constituent un problème très complexe en vision par ordinateur. Ils sont difficiles à segmenter ou à classifier en raison de leurs contours imprécis, et il existe une quantité limitée de données pour entraîner les réseaux neuronaux profonds. Par conséquent, les solutions actuelles à ce problème utilisent des jeux de données synthétiques rigides, qui manquent de flexibilité et entraînent une dégradation sévère des performances lorsqu'ils sont déployés dans des scénarios du monde réel. En particulier, ces jeux de données synthétiques omettent des caractéristiques telles que la réfraction, la dispersion et les caustiques en raison des limitations du pipeline de rendu. Pour remédier à cette situation, nous présentons SuperCaustics, une simulation en temps réel et open-source d'objets transparents conçue pour les applications d'apprentissage profond. SuperCaustics comprend des modules étendus pour la création d'environnements stochastiques ; utilise le traçage de rayons matériel pour prendre en charge les caustiques, la dispersion et la réfraction ; et permet de générer d'importants jeux de données avec des annotations au pixel près multimodales. Pour valider notre système proposé, nous avons formé un réseau neuronal profond à partir de zéro pour segmenter des objets transparents dans des scénarios d'éclairage difficiles. Notre réseau neuronal a obtenu des performances comparables à l'état de l'art sur un jeu de données du monde réel en utilisant seulement 10 % des données d'entraînement et en un fraction du temps d'entraînement. Des expériences supplémentaires montrent qu'un modèle formé avec SuperCaustics peut segmenter différents types de caustiques, même dans des images contenant plusieurs objets transparents superposés. À notre connaissance, c'est le premier résultat obtenu par un modèle formé sur des données synthétiques. Nos codes sources open-source et nos données expérimentales sont librement disponibles en ligne.