HyperAIHyperAI

Command Palette

Search for a command to run...

Un algorithme pour le routage des capsules dans tous les domaines

Franz A. Heinsen

Résumé

S'appuyant sur les travaux récents sur les réseaux de capsules, nous proposons une nouvelle forme générale de « routage par accord » qui active les capsules de sortie d'une couche en fonction de leur bénéfice net d'utilisation et de leur coût net d'ignorance des capsules d'entrée provenant des couches antérieures. Pour illustrer l'utilité de notre algorithme de routage, nous présentons deux réseaux de capsules appliquant cette méthode dans des domaines distincts : la vision et le traitement du langage. Le premier réseau atteint une nouvelle précision de pointe de 99,1 % sur la tâche de reconnaissance visuelle smallNORB, avec moins de paramètres et un entraînement réduit d'un ordre de grandeur par rapport aux modèles capsule précédents, et nous observons des preuves qu'il apprend à réaliser une forme de « graphisme inversé ». Le second réseau obtient des précisions de pointe sur les phrases racines du Stanford Sentiment Treebank : 58,5 % pour les étiquettes fines et 95,6 % pour les étiquettes binaires, avec un modèle à tâche unique qui route des embeddings gelés issus d'un transformateur préentraîné comme capsules. Dans les deux domaines, l'entraînement est réalisé selon le même régime. Le code est disponible à l'adresse https://github.com/glassroom/heinsen_routing, accompagné d'instructions de reproduction.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp