HyperAIHyperAI

Command Palette

Search for a command to run...

Scaling du temps d'entraînement et amélioration post-hoc de la détection hors distribution

Kai Xu Rongyu Chen Gianni Franchi Angela Yao

Résumé

La capacité d’un système de deep learning moderne à déterminer si un échantillon relève ou non de son domaine de connaissance constitue un élément fondamental et crucial. Dans cet article, nous proposons une analyse approfondie des méthodes récentes de détection d’out-of-distribution (OOD) de pointe, notamment la méthode extrêmement simple de transformation des activations (ASH). Nous démontrons que la suppression des activations (activation pruning) nuit à la détection OOD, tandis que leur mise à l’échelle (activation scaling) la renforce. Par ailleurs, nous introduisons SCALE, une méthode simple mais efficace d’amélioration post-hoc des réseaux pour la détection OOD, qui atteint des performances de pointe sans compromettre l’exactitude sur les données intra-distribution (ID). En intégrant des concepts d’échelonnement dans le processus d’entraînement afin de mieux capturer les caractéristiques ID d’un échantillon, nous proposons ISH (Intermediate Tensor SHaping), une méthode légère permettant d’améliorer la détection OOD pendant l’entraînement. Nous obtenons des scores AUROC améliorés de +1,85 % sur les jeux de données proches de la distribution OOD et de +0,74 % sur les jeux de données éloignés, sur la benchmark OpenOOD v1.5 ImageNet-1K. Le code source et les modèles sont disponibles à l’adresse suivante : https://github.com/kai422/SCALE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Scaling du temps d'entraînement et amélioration post-hoc de la détection hors distribution | Articles | HyperAI