HyperAIHyperAI

Command Palette

Search for a command to run...

ANDHRA Bandersnatch : Former des réseaux de neurones à prédire des réalités parallèles

Venkata Satya Sai Ajay Daliparthi

Résumé

Inspiré par l’interprétation des mondes multiples (Many-Worlds Interpretation, MWI), ce travail présente une nouvelle architecture de réseau de neurones qui divise le même signal d’entrée en branches parallèles à chaque couche, en utilisant une activation hyper rectifiée, désignée sous le nom d’ANDHRA. Les couches ramifiées ne se réunissent pas et forment ainsi des chemins de réseau distincts, conduisant à plusieurs têtes de sortie. Pour un réseau présentant un facteur de ramification égal à 2 sur trois niveaux, le nombre total de têtes s’élève à 2³ = 8. Ces têtes individuelles sont entraînées conjointement en combinant leurs pertes respectives. Toutefois, l’architecture proposée nécessite un nombre supplémentaire de paramètres et une mémoire accrue pendant l’entraînement en raison des branches additionnelles. Pendant l’inférence, les résultats expérimentaux sur CIFAR-10/100 montrent qu’une des têtes individuelles dépasse l’accuracy de la référence, atteignant une amélioration statistiquement significative tout en conservant le même nombre de paramètres et le même coût computationnel.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp