CleanDIFT : Caractéristiques de diffusion sans bruit

Les caractéristiques internes des grands modèles de diffusion pré-entraînés ont récemment été établies comme des descripteurs sémantiques puissants pour une large gamme de tâches en aval. Les travaux qui utilisent ces caractéristiques nécessitent généralement d'ajouter du bruit aux images avant de les faire passer à travers le modèle pour obtenir les caractéristiques sémantiques, car les modèles ne fournissent pas les caractéristiques les plus utiles lorsqu'ils sont donnés des images avec peu ou pas de bruit. Nous démontrons que ce bruit a un impact critique sur l'utilité de ces caractéristiques, un impact qui ne peut être atténué par l'agrégation avec différents bruits aléatoires. Pour résoudre ce problème, nous introduisons une méthode d'affinage non supervisée et légère qui permet aux noyaux de diffusion de fournir des caractéristiques sémantiques de haute qualité et exemptes de bruit. Nous montrons que ces caractéristiques surpassent largement les caractéristiques de diffusion précédentes dans une grande variété de configurations d'extraction et de tâches en aval, offrant une meilleure performance que même les méthodes basées sur l'agrégation, mais à un coût beaucoup plus faible.