Nous présentons une architecture de réseau neuronal et une méthode d'entraînement conçus pour permettre un entraînement très rapide et une faible complexité d'implémentation. Grâce à sa vitesse d'entraînement et à son nombre très limité de paramètres ajustables, cette méthode présente un fort potentiel pour les applications nécessitant des réentraînements fréquents ou un entraînement en ligne. L'approche est caractérisée par : (a) des filtres de convolution basés sur des filtres de traitement visuel inspirés par la biologie, (b) des poids d'entrée aléatoires pour la phase de classification, (c) l'utilisation de la régression aux moindres carrés pour entraîner les poids de sortie du classifieur en un seul lot, et (d) des unités de sortie linéaires pour la phase de classification. Nous démontrons l'efficacité de cette méthode en l'appliquant à la classification d'images. Nos résultats correspondent aux résultats actuels de pointe sur les bases de données de classification d'images MNIST (0,37 % d'erreur) et NORB-small (2,2 % d'erreur), mais avec des temps d'entraînement beaucoup plus rapides comparativement aux approches standards des réseaux profonds. Les performances du réseau sur la base de données Google Street View House Number (SVHN) (4 % d'erreur) sont également compétitives avec les méthodes de pointe actuelles.