HyperAIHyperAI

Command Palette

Search for a command to run...

0/1 Réseaux de Neurones Profonds par Descente de Coordonnées par Blocs

Zhang Hui ; Zhou Shenglong ; Li Geoffrey Ye ; Xiu Naihua

Résumé

La fonction échelon est l'une des fonctions d'activation les plus simples et naturelles pour les réseaux de neurones profonds (DNNs). Comme elle attribue une valeur de 1 aux variables positives et 0 aux autres, ses caractéristiques intrinsèques (par exemple, la discontinuité et l'absence d'informations sur les sous-gradients) ont freiné son développement pendant plusieurs décennies. Bien qu'il existe un corpus impressionnant de travaux sur la conception de DNNs avec des fonctions d'activation continues qui peuvent être considérées comme des substituts de la fonction échelon, elle possède encore certaines propriétés avantageuses, telles que une robustesse totale aux valeurs aberrantes et la capacité d'atteindre la meilleure garantie théorique en termes de précision prédictive. Par conséquent, dans cet article, nous visons à entraîner des DNNs utilisant la fonction échelon comme fonction d'activation (appelés DNNs 0/1). Nous reformulons d'abord les DNNs 0/1 comme un problème d'optimisation non contraint et le résolvons ensuite par une méthode de descente coordonnée par blocs (BCD). De plus, nous obtenons des solutions explicites pour les sous-problèmes de BCD ainsi que leurs propriétés de convergence. En outre, nous intégrons également la régularisation 2,0\ell_{2,0}2,0 dans les DNNs 0/1 afin d'accélérer le processus d'entraînement et de compresser l'échelle du réseau. En conséquence, l'algorithme proposé présente une performance élevée dans la classification des ensembles de données MNIST et Fashion-MNIST. De même, l'algorithme proposé montre une performance satisfaisante dans la classification des ensembles de données MNIST, Fashion-MNIST, Cifar10 et Cifar100.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp