タングエント空間におけるタスクアリスメティック：事前学習モデルの改善された編集

最近、事前学習済みモデルを重み空間内で直接編集するコスト効率的かつスケーラブルな手法として、タスク算術（task arithmetic）が注目されている。異なるタスクのファインチューニングされた重みを加算することで、モデルの性能がこれらのタスクにおいて向上する一方、重みを減算するとタスクの忘却が生じる。しかし、タスク算術の有効性およびその背後にある原理については、依然として理解が不十分である。本研究では、視覚言語モデルにおけるタスク算術について包括的な分析を行い、重みの分離性（weight disentanglement）がその有効性を決定づける重要な要因であることを示した。この性質は事前学習の過程で生じ、重み空間における異なる方向が、関連するタスクに対応する関数空間内の別個で局所的な領域を支配する形で現れる。特に、モデルを接空間（tangent space）でファインチューニングする——すなわち線形化することによって、重みの分離性が顕著に強化されることを明らかにした。この現象により、多数のタスク算術ベンチマークおよび多様なモデルにおいて、著しい性能向上が達成された。これらの発見を基に、本研究はこれらのモデルのニューラル接空間カーネル（NTK）について理論的および実証的な分析を行い、タスク算術とNTK固有関数の空間的局在性との間の強力な関連を確立した。総合的に、本研究はタスク算術の根本的なメカニズムに関する新たな知見を提供するとともに、NTK線形化を活用したより信頼性が高く効果的な事前学習モデルの編集手法を提示している。