Abstract
Der ChaLearn AutoML Challenge (die Autoren sind in alphabetischer Reihenfolge des Nachnamens aufgeführt, mit Ausnahme des ersten Autors, der den Großteil des Schreibens übernommen hat, und des zweiten Autors, der die meisten numerischen Analysen und Visualisierungen durchgeführt hat) bestand aus sechs Runden eines maschinellen Lernwettbewerbs mit zunehmender Schwierigkeit unter Berücksichtigung begrenzter Rechenressourcen. Ihm folgte ein einrundiger AutoML-Challenge (PAKDD 2018). Der AutoML-Ansatz unterscheidet sich von früheren Herausforderungen im Bereich Modell- oder Hyperparameter-Auswahl, wie beispielsweise der von uns für NIPS 2006 organisierten: Die Teilnehmer entwickeln vollständig automatisierte und rechenzeit-effiziente Systeme, die ohne menschliche Intervention trainiert und getestet werden können und deren Code eingereicht wird. Dieses Kapitel analysiert die Ergebnisse dieser Wettbewerbe und liefert detaillierte Informationen zu den Datensätzen, die den Teilnehmern nicht zugänglich gemacht wurden. Die Lösungen der Gewinner werden systematisch über alle Datensätze aller Runden evaluiert und mit klassischen maschinellen Lernalgorithmen verglichen, die in scikit-learn verfügbar sind. Alle im Rahmen dieses Kapitels besprochenen Materialien (Daten und Code) sind öffentlich zugänglich unter http://automl.chalearn.org/.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| automl-on-madeline | djajetic | Duration: 5842.12 Rank (AutoML5): 3.00 Set1 (F1): 0.7531 Set2 (PAC): 0.3905 Set3 (AUC): 0.6875 Set4 (ABS): 0.3067 Set5 (BAC): 0.5517 |
| automl-on-madeline | aad_freiburg | Duration: 5942.22 Rank (AutoML5): 1.60 Set1 (F1): 0.7947 Set2 (PAC): 0.4061 Set3 (AUC): 0.5543 Set4 (ABS): 0.2957 Set5 (BAC): 0.5900 |
| automl-on-madeline | postech.mlg_exbrain | Duration: 3343.64 Rank (AutoML5): 5.20 Set1 (F1): 0.7542 Set2 (PAC): 0.2802 Set3 (AUC): 0.3333 Set4 (ABS): 0.1507 Set5 (BAC): 0.5564 |
| automl-on-madeline | abhishek4 | Duration: 4353.45 Rank (AutoML5): 4.60 Set1 (F1): 0.7565 Set2 (PAC): 0.0172 Set3 (AUC): 0.2911 Set4 (ABS): 0.2791 Set5 (BAC): 0.5595 |
| automl-on-madeline | reference_mb | Duration: 4889.14 Rank (AutoML5): 5.20 Set1 (F1): 0.7005 Set2 (PAC): 0.3698 Set3 (AUC): 0.6776 Set4 (ABS): 0.2507 Set5 (BAC): 0.4618 |
| automl-on-madeline | marc.boulle | Duration: 4603.81 Rank (AutoML5): 6.40 Set1 (F1): 0.7005 Set2 (PAC): 0.3698 Set3 (AUC): -1.0000 Set4 (ABS): 0.2507 Set5 (BAC): 0.4618 |
| automl-on-madeline | reference | Duration: 4416.40 Rank (AutoML5): 4.40 Set1 (F1): 0.7556 Set2 (PAC): 0.0343 Set3 (AUC): 0.2927 Set4 (ABS): 0.2790 Set5 (BAC): 0.5601 |
| automl-on-madeline | reference_ls | Duration: 5879.88 Rank (AutoML5): 4.00 Set1 (F1): 0.7062 Set2 (PAC): 0.3708 Set3 (AUC): 0.5384 Set4 (ABS): 0.2856 Set5 (BAC): 0.5580 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.