Hugging Faceは近日中、パラメータ効率的ファインチューニング技術の包括的なベンチマークを公開し、業界標準とされるLoRAの優位性を相対化するデータを提示した。PEFTは大規模モデルの適応に必要なメモリコストを削減する手法群を指し、LoRAはその中でも最も広く採用されている。しかし同社は、LoRAの普及が技術的な優位性のみによってもたらされたものではない可能性を指摘している。 多くの研究がLoRAを上回る新規手法を主張する一方、ベンチマーク条件の非対称性やチューニングの不均等さにより結果にバイアスが生じやすい実情がある。これを受けてHugging Faceは、同一のモデル、データセット、ハードウェア条件下で複数手法を公平に比較する公式ベンチマークを実施した。対象は数学的連鎖推論タスクと新概念の習得を測る画像生成タスクである。 結果、LoRAはバランスの取れた性能を示すものの、タスクによっては他の手法が明確に上回った。数学タスクでは、メモリ使用量と精度のトレードオフにおいてLoRA、BEFT、Lilyなどがパレート最適の枠内に位置づけられ、用途に応じた選択余地が示された。画像生成タスクでは、OFTがLoRAよりも高い類似度スコアを記録しつつ低メモリ消費を実現し、LoRAを明示的に上回った。また、初期化を調整したrs-LoRAや最適化子を工夫したLoRA-FAなどの派生手法も、効率的な高精度化に貢献する可能性を確認した。 下位フレームワークでのサポート不足への懸念については、非LoRAアダプターをLoRA形式に変換するツールを提供することで対応している。vLLMなどでの推論時に高い互換性を維持できることを実証した。ベンチマークは限られた評価軸に基づくため、特定の特性を重視する場合は別途検討が必要だが、多角的な指標を提供することで意思決定を支援する。 同社はコミュニティによるベンチマーク貢献と手法の最適化を呼びかけている。PEFTライブラリは統一APIを採用しており、設定の変更のみで手法の切り替えが可能だ。開発者はLoRAを自動的なデフォルトとするのではなく、自身のデータと制約に基づき複数のPEFT手法を比較検証するべきだと提言している。