要約
私たちは、入力サンプル x に基づいて重みが条件付けられ、x とそのラベル y を用いてベースモデルを微調整した場合に得られる重みと一致するように学習される動的モデルを提案します。この入力サンプルとネットワークの重みとの間のマッピングは、ノイズ除去拡散モデルによって近似されます。私たちが使用する拡散モデルは、ベースモデルの単一レイヤーの変更に焦点を当て、そのレイヤーの入力、活性化状態、および出力に基づいて条件付けられます。拡散モデルは本質的に確率的なため、複数の初期化により異なるネットワークが生成され、アンサンブルが形成され、さらなる改善につながります。実験結果は、本手法が画像分類、3D再構成、表形式データ、音声分離、自然言語処理など幅広い応用範囲を持つことを示しています。コードは https://github.com/ShaharLutatiPersonal/OCD で公開されています。