HyperAIHyperAI
il y a 2 mois

Routage de Capsules par Bayes Variationnel

Fabio De Sousa Ribeiro; Georgios Leontidis; Stefanos Kollias
Routage de Capsules par Bayes Variationnel
Résumé

Les réseaux de capsules sont un type de réseau neuronal récemment proposé, qui ont montré des performances supérieures aux alternatives dans des tâches de reconnaissance de formes complexes. Dans les réseaux de capsules, les neurones scalaires sont remplacés par des vecteurs ou des matrices de capsules, dont les entrées représentent différentes propriétés des objets. Les relations entre les objets et leurs parties sont apprises à travers des matrices de transformation invariantes à la vue, qui sont entraînables, et la présence d'un objet donné est déterminée par le niveau d'accord entre les votes provenant de ses parties. Cette interaction se produit entre les couches de capsules et est un processus appelé routage par accord (routing-by-agreement). Dans cet article, nous proposons un nouvel algorithme de routage de capsules dérivé du Bayésien variationnel pour ajuster un mélange de gaussiennes transformantes, et nous montrons qu'il est possible de transformer notre réseau de capsules en une Capsule-VAE. Notre approche bayésienne aborde certaines des faiblesses inhérentes des modèles basés sur le maximum de vraisemblance (MLE), telles que l'effondrement de la variance, en modélisant l'incertitude sur les paramètres de pose des capsules. Nous surpassons l'état de l'art sur smallNORB en utilisant 50 % moins de capsules que précédemment rapporté, obtenons des performances compétitives sur CIFAR-10, Fashion-MNIST et SVHN, et démontrons une amélioration significative dans la généralisation MNIST vers affNIST par rapport aux travaux antérieurs.