11 天前
Benchopt：可复现、高效且协作的优化基准
Thomas Moreau, Mathurin Massias, Alexandre Gramfort, Pierre Ablin, Pierre-Antoine Bannier, Benjamin Charlier, Mathieu Dagréou, Tom Dupré la Tour, Ghislain Durif, Cassio F. Dantas, Quentin Klopfenstein, Johan Larsson, En Lai, Tanguy Lefort, Benoit Malézieux, Badr Moufad, Binh T. Nguyen, Alain Rakotomamonjy, Zaccharie Ramzi, Joseph Salmon, Samuel Vaiter
摘要
数值验证是机器学习研究的核心环节，它能够评估新方法的实际效果，并验证理论与实践之间的一致性。然而，该领域的快速发展带来了诸多挑战：研究人员面临大量需比较的方法、缺乏透明度与最佳实践的共识，以及繁琐的重复实现工作。结果导致验证过程往往十分片面，可能引发错误结论，从而阻碍研究进展。为此，我们提出 Benchopt——一个协作式框架，旨在跨编程语言和硬件架构自动化、可复现地开展机器学习优化算法的基准测试。Benchopt 通过提供开箱即用的工具，简化了社区在运行、共享与扩展实验方面的流程。为展示其广泛的适用性，我们展示了在三个标准学习任务上的基准测试：$\ell_2$-正则化逻辑回归、Lasso 回归，以及用于图像分类的 ResNet18 训练。这些基准测试揭示了若干关键的实用发现，为这些问题的当前技术水平提供了更为细致的洞察，表明在实际评估中，细节决定成败。我们期望 Benchopt 能够推动社区内的协作研究，从而提升研究成果的可复现性。