ANDHRA Bandersnatch : Former des réseaux de neurones à prédire des réalités parallèles

Inspiré par l’interprétation des mondes multiples (Many-Worlds Interpretation, MWI), ce travail présente une nouvelle architecture de réseau de neurones qui divise le même signal d’entrée en branches parallèles à chaque couche, en utilisant une activation hyper rectifiée, désignée sous le nom d’ANDHRA. Les couches ramifiées ne se réunissent pas et forment ainsi des chemins de réseau distincts, conduisant à plusieurs têtes de sortie. Pour un réseau présentant un facteur de ramification égal à 2 sur trois niveaux, le nombre total de têtes s’élève à 2³ = 8. Ces têtes individuelles sont entraînées conjointement en combinant leurs pertes respectives. Toutefois, l’architecture proposée nécessite un nombre supplémentaire de paramètres et une mémoire accrue pendant l’entraînement en raison des branches additionnelles. Pendant l’inférence, les résultats expérimentaux sur CIFAR-10/100 montrent qu’une des têtes individuelles dépasse l’accuracy de la référence, atteignant une amélioration statistiquement significative tout en conservant le même nombre de paramètres et le même coût computationnel.