CleanDIFT: ノイズのない拡散特徴量

大規模事前学習拡散モデルの内部特徴が、最近、多くの下流タスクにおいて強力な意味記述子として確立されています。これらの特徴を使用する研究では、通常、画像にノイズを追加してからモデルを通す必要があります。これは、ノイズが少ないまたはない画像を与えた場合、モデルが最も有用な特徴を提供しないためです。我々は、このノイズがこれらの特徴の有用性に決定的な影響を与え、異なるランダムノイズでのアンサンブルによっても解決できないことを示しています。この問題に対処するために、軽量で教師なしの微調整手法を導入しました。これにより、拡散バックボーンが高品質でノイズのない意味特徴を提供することが可能になります。我々は、これらの特徴が様々な抽出設定や下流タスクにおいて以前の拡散特徴を大幅に上回ることを示しており、コストのかかるアンサンブルベース手法よりも遥かに低いコストでより優れた性能を提供します。