AutoML 챌린지 시리즈 2015–2018 분석

ChaLearn AutoML 챌린지(저자들은 성순으로 정렬되었으며, 첫 번째 저자는 대부분의 글쓰기를 담당했고, 두 번째 저자는 대부분의 수치 분석 및 그래프 작성에 기여함)는 계산 자원이 제한된 환경에서 점차 난이도가 높아지는 여섯 번의 머신러닝 대회로 구성되었다. 이후 2018년 PAKDD에서 단일 라운드의 AutoML 챌린지가 진행되었다. 이 AutoML 대회는 이전의 모델 선택/하이퍼파라미터 선택 챌린지(예: NIPS 2006에서 우리가 주관한 챌린지)와 달리, 참가자들은 인간의 개입 없이 자동으로 학습 및 테스트가 가능한 완전 자동화되고 계산적으로 효율적인 시스템을 개발하는 것을 목표로 한다. 이 과정에서 코드 제출이 필수적으로 요구된다. 본 장에서는 이러한 대회의 결과를 분석하고, 참가자들에게 공개되지 않은 데이터셋에 대한 자세한 정보를 제공한다. 우승자들의 솔루션은 모든 라운드의 모든 데이터셋에서 체계적으로 벤치마킹되었으며, scikit-learn에 포함된 전형적인 머신러닝 알고리즘과 비교되었다. 본 장에서 논의된 모든 자료(데이터 및 코드)는 http://automl.chalearn.org/에서 공개적으로 제공된다.