TDA : Apprendre à surajuster avec des modèles de diffusion conditionnelle

Nous présentons un modèle dynamique dans lequel les poids sont conditionnés par un échantillon d'entrée ( x ) et appris pour correspondre à ceux qui seraient obtenus en affinant un modèle de base sur ( x ) et son étiquette ( y ). Cette correspondance entre un échantillon d'entrée et les poids du réseau est approximée par un modèle de diffusion débruitante. Le modèle de diffusion que nous utilisons se concentre sur la modification d'une seule couche du modèle de base et est conditionné par l'entrée, les activations et la sortie de cette couche. Étant donné que le modèle de diffusion est intrinsèquement stochastique, plusieurs initialisations génèrent des réseaux différents, formant ainsi un ensemble, ce qui entraîne des améliorations supplémentaires. Nos expériences démontrent l'applicabilité large de la méthode pour la classification d'images, la reconstruction 3D, les données tabulaires, la séparation vocale et le traitement du langage naturel. Notre code est disponible à l'adresse suivante : https://github.com/ShaharLutatiPersonal/OCD