接ぎ木

グラフティングは、2025 年にスタンフォード大学のチームによって提案された、事前学習済みの拡散トランスフォーマー (DiT) を編集するための簡単な方法であり、わずかな計算予算しか必要としません。接ぎ木による拡散変圧器の設計の探究」

接ぎ木の具体的な手順は以下のとおりです。

アクティベーション蒸留: 元の演算子の機能を新しい演算子に転送し、回帰目標を通じてそのアクティベーション値を蒸留します。
軽量な微調整: 限られたデータでエンドツーエンドの微調整を実行することにより、複数の新しい演算子を統合することによって発生するエラーの伝播を軽減します。