HyperAIHyperAI

Command Palette

Search for a command to run...

Formation Virtuelle Adversariale : Une Méthode de Régularisation pour l'Apprentissage Supervisé et Semi-Supervisé

Takeru Miyato Shin-ichi Maeda Masanori Koyama Shin Ishii

Résumé

Nous proposons une nouvelle méthode de régularisation basée sur la perte d'adversaire virtuel : une nouvelle mesure de la lissité locale de la distribution des étiquettes conditionnelles étant donné un certain input. La perte d'adversaire virtuel est définie comme la robustesse de la distribution des étiquettes conditionnelles autour de chaque point de données d'entrée face à des perturbations locales. Contrairement à l'entraînement par adversaires, notre méthode définit la direction adverse sans information d'étiquette et est donc applicable à l'apprentissage semi-supervisé. Comme les directions dans lesquelles nous lissons le modèle sont seulement « virtuellement » adverses, nous appelons notre méthode entraînement par adversaire virtuel (VAT). Le coût computationnel du VAT est relativement faible. Pour les réseaux neuronaux, le gradient approximé de la perte d'adversaire virtuel peut être calculé avec au plus deux paires de propagations avant et arrière. Dans nos expériences, nous avons appliqué le VAT à des tâches d'apprentissage supervisé et semi-supervisé sur plusieurs ensembles de données de référence. Avec une amélioration simple de l'algorithme basée sur le principe de minimisation de l'entropie, notre VAT atteint des performances d'état de l'art pour les tâches d'apprentissage semi-supervisé sur SVHN et CIFAR-10.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Formation Virtuelle Adversariale : Une Méthode de Régularisation pour l'Apprentissage Supervisé et Semi-Supervisé | Articles | HyperAI