Les Réseaux Neuronaux Convolutifs (CNNs) sont des modèles de pointe pour les tâches de classification d'images de documents. Cependant, nombre de ces approches s'appuient sur des paramètres et des architectures conçus pour la classification d'images naturelles, qui diffèrent des images de documents. Nous nous interrogeons sur l'adéquation de cette pratique et menons une vaste étude empirique pour déterminer quels aspects des CNNs ont le plus d'influence sur les performances en classification d'images de documents. Parmi nos résultats, nous surpassons l'état de l'art sur le jeu de données RVL-CDIP en utilisant une augmentation de données par transformation d'échelle (shear transform) et une architecture adaptée à une image d'entrée plus grande. De plus, nous analysons les caractéristiques apprises et trouvons des preuves que les CNNs formés sur RVL-CDIP apprennent des caractéristiques spécifiques à certaines régions du layout.