HyperAIHyperAI

Command Palette

Search for a command to run...

Identités dans les Réseaux de Neurones Résiduels Profonds

Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun

Résumé

Les réseaux de neurones à résidus profonds sont apparus comme une famille d'architectures extrêmement profondes présentant des performances de précision convaincantes et de bons comportements de convergence. Dans cet article, nous analysons les formulations de propagation derrière les blocs de construction résiduels, qui suggèrent que les signaux avant et arrière peuvent être propagés directement d'un bloc à n'importe quel autre bloc, lorsque des cartes d'identité sont utilisées comme connexions de saut et après l'activation post-addition. Une série d'expériences d'élimination progressive soutient l'importance de ces cartes d'identité. Cela nous motive à proposer une nouvelle unité résiduelle, qui facilite l'apprentissage et améliore la généralisation. Nous rapportons des résultats améliorés en utilisant un ResNet à 1001 couches sur CIFAR-10 (4,62 % d'erreur) et CIFAR-100, ainsi qu'un ResNet à 200 couches sur ImageNet. Le code est disponible à l'adresse suivante : https://github.com/KaimingHe/resnet-1k-layers


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp