Réexaminer l'efficacité irraisonnée des données à l'ère de l'apprentissage profond

Le succès de l'apprentissage profond en vision peut être attribué à : (a) des modèles à forte capacité ; (b) une puissance de calcul accrue ; et (c) la disponibilité de données étiquetées à grande échelle. Depuis 2012, il y a eu des avancées significatives dans les capacités de représentation des modèles et les performances de calcul des GPU. Cependant, la taille du plus grand jeu de données est restée surprenamment constante. Que se passerait-il si nous augmentions la taille du jeu de données par un facteur de 10 ou 100 ? Cette étude fait un pas vers la clarification des mystères entourant la relation entre les « données massives » et l'apprentissage profond en vision. En exploitant le jeu de données JFT-300M qui comporte plus de 375 millions d'étiquettes bruyantes pour 300 millions d'images, nous examinons comment les performances des tâches actuelles en vision changeraient si ces données étaient utilisées pour l'apprentissage de représentations. Notre article présente certaines découvertes surprenantes (et d'autres attendues). Premièrement, nous constatons que les performances sur les tâches en vision augmentent logarithmiquement en fonction du volume des données d'entraînement. Deuxièmement, nous montrons que l'apprentissage de représentations (ou pré-entraînement) conserve encore beaucoup de potentiel. On peut améliorer les performances sur nombreuses tâches en vision simplement en entraînant un meilleur modèle de base. Enfin, comme prévu, nous présentons de nouveaux résultats d'état de l'art pour différentes tâches en vision, notamment la classification d'images, la détection d'objets, la segmentation sémantique et l'estimation de poses humaines. Nous espérons sincèrement que cela inspire la communauté en vision à ne pas sous-estimer les données et à développer des efforts collectifs pour construire des jeux de données plus importants.