Capsules matricielles avec routage EM

Une capsule est un groupe de neurones dont les sorties représentent différentes propriétés de la même entité. Chaque couche d’un réseau de capsules contient un grand nombre de capsules. Nous décrivons une version de capsules dans laquelle chaque capsule dispose d’une unité logistique représentant la présence d’une entité, ainsi qu’une matrice 4×4 pouvant apprendre à représenter la relation entre cette entité et l’observateur (c’est-à-dire la pose). Une capsule d’une couche émet des votes concernant la matrice de pose de plusieurs capsules différentes de la couche supérieure en multipliant sa propre matrice de pose par des matrices de transformation invariantes vis-à-vis du point de vue, qui sont entraînées pour modéliser des relations partie-tout. Chacun de ces votes est pondéré par un coefficient d’affectation. Ces coefficients sont mis à jour itérativement pour chaque image à l’aide de l’algorithme d’Expectation-Maximisation (EM), de sorte que la sortie de chaque capsule soit acheminée vers une capsule de la couche supérieure qui reçoit un regroupement de votes similaires. Les matrices de transformation sont entraînées de manière discriminative en rétropropageant à travers les itérations déroulées de l’EM entre chaque paire de couches adjacentes de capsules. Sur le benchmark smallNORB, les capsules réduisent le nombre d’erreurs de test de 45 % par rapport à l’état de l’art. De plus, les capsules montrent une résistance bien supérieure aux attaques adverses à blanc (white box) par rapport à notre réseau neuronal convolutif de référence.