HyperAIHyperAI

Command Palette

Search for a command to run...

Forme d’activation extrêmement simple pour la détection de distribution hors domaine

Andrija Djurisic Nebojsa Bozanic Arjun Ashok Rosanne Liu

Résumé

La séparation entre l’entraînement et le déploiement des modèles d’apprentissage automatique implique que toutes les situations rencontrées lors du déploiement ne peuvent pas être anticipées durant l’entraînement, et il existe donc des limites à se fier uniquement aux progrès réalisés dans le processus d’entraînement. La détection des données hors distribution (OOD, out-of-distribution) constitue un domaine crucial qui met à l’épreuve la capacité d’un modèle à gérer des situations inédites : le modèle sait-il qu’il ne sait pas ? Les méthodes existantes de détection OOD nécessitent généralement des étapes supplémentaires d’entraînement, des données additionnelles ou des modifications non négligeables du réseau entraîné. À l’inverse, dans ce travail, nous proposons une méthode extrêmement simple, post-hoc et appliquée en temps réel, appelée ASH (Activation Shaping), dans laquelle une grande partie (par exemple 90 %) des activations d’un échantillon à un stade avancé du réseau est supprimée, tandis que le reste (par exemple 10 %) est simplifié ou légèrement ajusté. Ce traitement est appliqué au moment de l’inférence, sans nécessiter aucune statistique calculée à partir des données d’entraînement. Les expérimentations montrent que ce traitement simple améliore significativement la distinction entre données in-distribution et out-of-distribution, permettant ainsi une détection OOD de pointe sur ImageNet, sans dégradation notable de la précision sur les données in-distribution. Une vidéo, une animation et le code sont disponibles à l’adresse suivante : https://andrijazz.github.io/ash


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Forme d’activation extrêmement simple pour la détection de distribution hors domaine | Articles | HyperAI