HyperAIHyperAI

Command Palette

Search for a command to run...

Un algorithme pour le routage de vecteurs dans les séquences

Franz A. Heinsen

Résumé

Nous proposons un algorithme de routage qui prend une séquence de vecteurs en entrée et calcule une nouvelle séquence de taille et de dimension spécifiées. Chaque vecteur de sortie maximise le « rendement par bit », défini comme la différence entre le bénéfice net d’utilisation et le coût net d’ignorer les données, en prédisant de manière plus précise les vecteurs d’entrée. Nous décrivons les vecteurs de sortie comme des objets géométriques, comme des variables latentes attribuant une responsabilité (credit), comme des états de requête dans un modèle de mémoire associative, et comme des agents dans un modèle de « Société de l’Esprit ». Nous implémentons cet algorithme avec des optimisations qui réduisent de plusieurs ordres de grandeur le nombre de paramètres, la charge de calcul et l’utilisation de mémoire, permettant ainsi de router des séquences de longueur supérieure à toute précédente capacité. Nous évaluons notre implémentation sur des tâches de classification linguistique et visuelle, obtenant une précision compétitive ou de pointe, ainsi qu’une attribution de crédit end-to-end interprétable.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Un algorithme pour le routage de vecteurs dans les séquences | Articles | HyperAI