Command Palette
Search for a command to run...
Scaling du temps d'entraînement et amélioration post-hoc de la détection hors distribution
Scaling du temps d'entraînement et amélioration post-hoc de la détection hors distribution
Kai Xu Rongyu Chen Gianni Franchi Angela Yao
Résumé
La capacité d’un système de deep learning moderne à déterminer si un échantillon relève ou non de son domaine de connaissance constitue un élément fondamental et crucial. Dans cet article, nous proposons une analyse approfondie des méthodes récentes de détection d’out-of-distribution (OOD) de pointe, notamment la méthode extrêmement simple de transformation des activations (ASH). Nous démontrons que la suppression des activations (activation pruning) nuit à la détection OOD, tandis que leur mise à l’échelle (activation scaling) la renforce. Par ailleurs, nous introduisons SCALE, une méthode simple mais efficace d’amélioration post-hoc des réseaux pour la détection OOD, qui atteint des performances de pointe sans compromettre l’exactitude sur les données intra-distribution (ID). En intégrant des concepts d’échelonnement dans le processus d’entraînement afin de mieux capturer les caractéristiques ID d’un échantillon, nous proposons ISH (Intermediate Tensor SHaping), une méthode légère permettant d’améliorer la détection OOD pendant l’entraînement. Nous obtenons des scores AUROC améliorés de +1,85 % sur les jeux de données proches de la distribution OOD et de +0,74 % sur les jeux de données éloignés, sur la benchmark OpenOOD v1.5 ImageNet-1K. Le code source et les modèles sont disponibles à l’adresse suivante : https://github.com/kai422/SCALE.