ResNet kehrt zurück: Ein verbessertes Trainingsverfahren in timm

Die einflussreichen Residual Networks, die von He et al. entworfen wurden, bleiben in zahlreichen wissenschaftlichen Publikationen die Goldstandard-Architektur. Sie dienen typischerweise als Standardarchitektur in Studien oder als Baseline bei der Einführung neuer Architekturen. Dennoch ist seit der Einführung der ResNet-Architektur im Jahr 2015 erheblicher Fortschritt bei den besten Praktiken für das Training von neuronalen Netzen erzielt worden. Neuere Optimierungsverfahren und Datenaugmentierungsstrategien haben die Wirksamkeit der Trainingsrezepte erheblich gesteigert. In diesem Paper re-evaluieren wir die Leistung der ursprünglichen ResNet-50, wenn sie mit einem Verfahren trainiert wird, das diese Fortschritte integriert. Wir stellen kompetitive Trainingsparameter und vortrainierte Modelle in der open-source-Bibliothek timm zur Verfügung, mit der Hoffnung, dass sie künftige Arbeiten als verbesserte Baselines dienen werden. So erreicht eine ursprüngliche ResNet-50 mit unserem anspruchsvolleren Trainingsansatz auf ImageNet-val bei einer Auflösung von 224×224 eine Top-1-Accuracy von 80,4 %, ohne zusätzliche Daten oder Distillation. Außerdem berichten wir über die Leistung von gängigen Modellen, die mit unserem Trainingsverfahren erzielt wurde.