Une analyse de l'auto-formation non supervisée à la lumière des récentes avancées

Les réseaux de neurones convolutifs (CNN) se distinguent dans la reconnaissance d'objets grâce à plusieurs avancées récentes : les unités linéaires rectifiées (ReLU), l'augmentation de données, le dropout et les grands ensembles de données étiquetées. L'utilisation de données non supervisées a été proposée comme une autre approche pour améliorer les performances. Malheureusement, l'entraînement non supervisé préalable n'est pas exploité par les méthodes de pointe, ce qui soulève la question suivante : l'entraînement non supervisé préalable est-il encore utile compte tenu des progrès récents ? Si oui, dans quelles circonstances ? Nous répondons à cette question en trois étapes : nous 1) développons une méthode non supervisée intégrant les ReLU et des techniques récentes de régularisation non supervisée, 2) analysons les avantages de l'entraînement non supervisé préalable par rapport à l'augmentation de données et au dropout sur CIFAR-10 en modulant le ratio entre échantillons non supervisés et supervisés, 3) vérifions nos résultats sur STL-10. Nous constatons que, comme prévu, l'entraînement non supervisé préalable est bénéfique lorsque le ratio d'échantillons non supervisés à supervisés est élevé, et, de manière surprenante, qu'il nuit aux performances lorsque ce ratio est faible. Nous utilisons également l'entraînement non supervisé préalable avec une augmentation supplémentaire des couleurs pour atteindre des performances quasi optimales sur STL-10.