Benchopt：再現可能で効率的かつ協働的な最適化ベンチマーク

数値的検証は、新規手法の実際の影響を評価し、理論と実践の整合性を確認できるため、機械学習研究の中心的な役割を果たしています。しかし、分野の急速な発展に伴い、いくつかの課題が生じています。研究者たちは、比較対象となる手法の多様性に直面し、ベストプラクティスに関する透明性の不足や合意の欠如に加えて、繰り返し実装作業に時間を要するという問題に直面しています。その結果、検証はしばしば部分的になり、誤った結論を導くことにつながり、研究の進展を妨げる要因となっています。そこで本研究では、複数のプログラミング言語およびハードウェアアーキテクチャに跨って最適化ベンチマークを自動化・再現・公開できる共同フレームワーク「Benchopt」を提案します。Benchoptは、実験の実行・共有・拡張を即時に行えるオフ・ザ・シェルツールを提供することで、コミュニティにおけるベンチマーク作成を大幅に簡素化します。その広範な有用性を示すために、標準的な学習タスク3つ（ℓ₂正則化付きロジスティック回帰、ラッソ、画像分類用ResNet18の訓練）に対するベンチマークを紹介します。これらのベンチマークは、これらの問題における最先端技術の状況について、より洗練された見方を提供する重要な実践的知見を明らかにしています。特に、実用的な評価においては「細部にこそ正解がある」という教訓を示しています。本研究では、Benchoptがコミュニティにおける協働作業を促進し、研究結果の再現性を向上させることを期待しています。