テスト時における効率的な学習：LLMのアクティブファインチューニング

近年の言語モデルのファインチューニングにおける取り組みは、しばしば大規模データセットからの最近傍探索（Nearest Neighbors retrieval）を用いた自動データ選択に依存している。しかし、我々は理論的にこのアプローチが重複するデータを過剰に選択する傾向にあることを示し、その結果、効果が限定される、あるいは性能を低下させる可能性があることを明らかにした。これを解決するため、プロンプトに対するモデル出力の不確実性を低減することを目的としたデータ選択アルゴリズム「SIFT」を提案する。SIFTは、情報検索とアクティブラーニングのアイデアを統合した手法であり、情報の重複を考慮しつつ、選択された例の全体的な情報量の増加を最適化する。本研究では、Pileデータセット上でプロンプト固有の言語モデリングにおけるテスト時ファインチューニング（test-time fine-tuning）を対象に評価を行い、SIFTが最近傍探索を常に上回ることを示した。さらに、計算コストの増加は最小限に抑えられている。また、我々が提案する不確実性推定がテスト時ファインチューニングの性能向上を予測できることを示し、実現された性能向上に応じてテスト時計算リソースを適応的に割り当てるアルゴリズムの構築にも活用した。本研究では、最近傍探索の即時置き換えが可能な「activeft（アクティブファインチューニング）」ライブラリを公開している。