Le Réseau de Neurones à Support Compact

Les réseaux de neurones sont largement utilisés et efficaces dans de nombreux domaines, mais ils présentent un problème crucial : ils attribuent souvent une confiance élevée aux prédictions effectuées sur des exemples éloignés des données d’entraînement. Cela conduit à des erreurs graves tout en affichant une grande certitude, ce qui limite fortement leur fiabilité dans des applications critiques pour la sécurité, telles que la conduite autonome ou l’exploration spatiale. Ce papier introduit une nouvelle généralisation de neurone, dans laquelle le neurone basé sur le produit scalaire classique et le neurone à fonction de base radiale (RBF) apparaissent comme deux cas extrêmes dépendant d’un paramètre de forme. En utilisant une unité linéaire rectifiée (ReLU) comme fonction d’activation, on obtient un nouveau type de neurone possédant un support compact, c’est-à-dire que sa sortie est nulle en dehors d’un domaine borné. Pour surmonter les difficultés liées à l’entraînement du réseau proposé, une méthode d’entraînement novatrice est proposée : elle consiste à partir d’un réseau neuronal standard pré-entraîné, puis à le réajuster progressivement tout en augmentant graduellement le paramètre de forme jusqu’à sa valeur cible. Les résultats théoriques du papier incluent une borne sur le gradient du neurone proposé, ainsi qu’une preuve que tout réseau neuronal composé de tels neurones possède la propriété d’approximation universelle, ce qui signifie qu’il peut approcher avec une précision arbitrairement élevée toute fonction continue et intégrable. Les résultats expérimentaux sur des jeux de données standards montrent que l’approche proposée atteint des erreurs de test plus faibles que les méthodes concurrentes de pointe, et qu’elle excelle dans la détection des échantillons hors distribution sur deux des trois jeux de données testés.