Correction du biais à l'aide des données procédurales

Les logiciels 3D sont désormais capables de produire des images extrêmement réalistes, presque indiscernables des images réelles. Cela soulève une question importante : les jeux de données réels peuvent-ils être améliorés à l’aide de données générées par rendu 3D ? Nous explorons cette question. Dans cet article, nous démontrons l’utilisation de données générées de manière procédurale par rendu 3D pour corriger les biais présents dans les jeux de données d’images. Une analyse d’erreur sur des images d’animaux révèle que les mauvaises classifications de certaines races d’animaux sont en grande partie dues à des lacunes ou des déséquilibres dans les données. Nous produisons alors des images procédurales des races mal classées, et montrons qu’un modèle entraîné ultérieurement sur ces données procédurales améliore significativement sa capacité à classifier ces races sur des données réelles. Nous pensons que cette approche peut être généralisée à l’amélioration des données visuelles pour tout groupe sous-représenté, y compris les maladies rares, ou tout biais potentiel dans les données, contribuant ainsi à améliorer à la fois la précision et l’équité des modèles. Nous constatons que les représentations apprises à partir de ces données procédurales peuvent rivaliser, voire surpasser, celles apprises directement à partir de données réelles — mais que des performances élevées exigent une attention méticuleuse dans la génération des données procédurales 3D. Un jeu de données d’images 3D peut être vu comme une version compressée et organisée d’un jeu de données réel. Nous imaginons un avenir où les données procédurales se répandent de plus en plus, tandis que les jeux de données réels deviennent de plus en plus volumineux, incomplets ou confidentiels. Ce papier propose plusieurs techniques pour faire face à l’apprentissage des représentations visuelles dans un tel futur.