16日前
AutoMLチャレンジシリーズ2015–2018の分析
{Evelyne Viegas, WeiWei Tu, Alexander Statnikov, Michèle Sebag, Mehreen Saeed, Bisakha Ray, Damir Jajetic, Zhengying Liu, Sergio Escalera, Hugo Jair Escalante, Marc Boullé, Lisheng Sun-Hosoya, Isabelle Guyon}
要約
ChaLearn AutoMLチャレンジ（著者らは姓のアルファベット順に並べており、最初の著者は主に本文の執筆を担当し、2番目の著者は数値解析およびグラフ作成の大部分を担当した）は、計算リソースが限られた条件下で段階的に難易度が向上する6ラウンドからなる機械学習コンペティションであった（NIPS 2015 – ICML 2016）。その後、1ラウンドのAutoMLチャレンジがPAKDD 2018で開催された。本チャレンジの設定は、以前にNIPS 2006で主催したモデル選択／ハイパーパラメータ最適化コンペティションとは異なり、参加者は人間の介入なしに自動的に学習および評価が可能な、完全自動化かつ計算効率の高いシステムの開発を目指しており、コードの提出が必須である。本章では、これらのコンペティションの結果を分析し、参加者に開示されなかったデータセットの詳細についても述べる。優勝者の手法は、すべてのラウンドにおける全データセット上で体系的にベンチマーク化され、scikit-learnに実装された代表的な機械学習アルゴリズムと比較されている。本章で議論されるすべての資料（データおよびコード）は、http://automl.chalearn.org/ にて公開されている。