Hyperréseaux

HyperNetworks est une structure de réseau neuronal qui présente certaines différences dans la paramétrisation du modèle par rapport aux réseaux neuronaux traditionnels. Google Brain a publié un article en 2016 intitulé «HyperréseauxDans les hyperréseaux, un réseau neuronal est utilisé pour générer les pondérations ou autres paramètres d'un autre réseau neuronal. Ce réseau généré est appelé hyperréseau, et le réseau qu'il génère est appelé réseau cible.

En règle générale, HyperNetwork reçoit des entrées supplémentaires, telles que l'entrée du réseau cible, puis génère les paramètres du réseau cible. L’un des principaux avantages de cette approche est qu’elle permet la génération dynamique des paramètres du réseau cible, ce qui permet au modèle d’être adapté de manière plus flexible à différentes tâches ou environnements.

Les hyperréseaux ont des applications potentielles dans des domaines tels que le méta-apprentissage et la recherche d’architecture. En utilisant HyperNetworks, la structure ou les paramètres du modèle peuvent être automatiquement ajustés et optimisés, améliorant ainsi la capacité de généralisation et l'adaptabilité du modèle.

Hyperréseaux en diffusion stable

HyperNetworks est l'un des premiers à adopter la diffusion stable Nouvelle IA Technologie de réglage fin développée. Il s'agit d'un petit réseau neuronal attaché au modèle de diffusion stable pour modifier son style.

Les hyperréseaux sont généralement un réseau neuronal simple : un réseau linéaire entièrement connecté avec des fonctions de perte et d'activation. Tout comme ce que vous apprenez dans le cours d’introduction aux réseaux neuronaux. Ils détournent le module d'attention croisé en insérant deux réseaux pour transformer le vecteur clé et le vecteur de requête. Vous trouverez ci-dessous une comparaison de l’architecture du modèle d’origine et de l’architecture du modèle détourné.

Pendant la formation, les modèles de diffusion stable sont verrouillés, mais les hyperréseaux attachés sont autorisés à changer. L’hyperréseau étant petit, la formation est rapide et nécessite des ressources limitées. La formation peut être effectuée sur un ordinateur ordinaire.

Références

【1】Hyperréseaux

【2】Que sont les hyperréseaux et lesquels devez-vous connaître ?