16 天前
AutoML挑战赛系列2015–2018分析
{Evelyne Viegas, WeiWei Tu, Alexander Statnikov, Michèle Sebag, Mehreen Saeed, Bisakha Ray, Damir Jajetic, Zhengying Liu, Sergio Escalera, Hugo Jair Escalante, Marc Boullé, Lisheng Sun-Hosoya, Isabelle Guyon}
摘要
ChaLearn AutoML挑战赛（作者按姓氏字母顺序排列，首位作者负责主要撰写工作，第二位作者完成大部分数值分析与图表绘制）共包含六轮逐步提升难度的机器学习竞赛，所有竞赛均在有限计算资源条件下进行。此后，又举办了一轮单轮AutoML挑战赛（PAKDD 2018）。与以往的模型选择/超参数优化挑战赛（例如我们此前为NIPS 2006组织的赛事）不同，本次AutoML挑战赛要求参赛者开发完全自动化且计算高效的系统，能够在无需人工干预的情况下完成训练与测试，并提交代码。本章对上述竞赛结果进行了分析，并详细介绍了各轮比赛中所使用的数据集（这些数据集在竞赛期间未向参赛者公开）。获胜方案在所有轮次的所有数据集上进行了系统性基准测试，并与scikit-learn中经典的机器学习算法进行了对比。本章所讨论的所有材料（包括数据与代码）均已公开发布于 http://automl.chalearn.org/。