Augmentation de données négatives

L’augmentation de données est fréquemment utilisée pour agrandir les jeux de données en générant des échantillons synthétiques conformes à la distribution sous-jacente des données. Afin de permettre une plus grande diversité d’augmentations, nous explorons des stratégies d’augmentation de données négatives (NDA), qui créent intentionnellement des échantillons hors distribution. Nous montrons que ces échantillons négatifs hors distribution fournissent des informations sur le support de la distribution des données, et peuvent être exploités pour le modèle génératif et l’apprentissage de représentations. Nous introduisons une nouvelle fonction objectif pour l’entraînement des GAN, dans laquelle nous utilisons les NDA comme source supplémentaire de données synthétiques pour le discriminateur. Nous prouvons que, sous des conditions appropriées, l’optimisation de cette fonction objectif permet toujours de récupérer la véritable distribution des données, tout en pouvant directement biaiser le générateur afin qu’il évite les échantillons manquant de la structure souhaitée. Expérimentalement, les modèles entraînés avec notre méthode atteignent une meilleure génération d’images conditionnelle/non conditionnelle, ainsi qu’une amélioration des performances en détection d’anomalies. En outre, nous intégrons la même stratégie d’augmentation de données négatives dans un cadre d’apprentissage contrastif pour l’apprentissage non supervisé de représentations sur images et vidéos, obtenant ainsi des performances améliorées sur des tâches de classification d’images, de détection d’objets et de reconnaissance d’actions. Ces résultats suggèrent que la connaissance a priori sur ce qui ne constitue pas des données valides représente une forme efficace de supervision faible dans diverses tâches d’apprentissage non supervisé.