HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Analyse der AutoML Challenge Series 2015–2018

Abstract

Der ChaLearn AutoML Challenge (die Autoren sind in alphabetischer Reihenfolge des Nachnamens aufgeführt, mit Ausnahme des ersten Autors, der den Großteil des Schreibens übernommen hat, und des zweiten Autors, der die meisten numerischen Analysen und Visualisierungen durchgeführt hat) bestand aus sechs Runden eines maschinellen Lernwettbewerbs mit zunehmender Schwierigkeit unter Berücksichtigung begrenzter Rechenressourcen. Ihm folgte ein einrundiger AutoML-Challenge (PAKDD 2018). Der AutoML-Ansatz unterscheidet sich von früheren Herausforderungen im Bereich Modell- oder Hyperparameter-Auswahl, wie beispielsweise der von uns für NIPS 2006 organisierten: Die Teilnehmer entwickeln vollständig automatisierte und rechenzeit-effiziente Systeme, die ohne menschliche Intervention trainiert und getestet werden können und deren Code eingereicht wird. Dieses Kapitel analysiert die Ergebnisse dieser Wettbewerbe und liefert detaillierte Informationen zu den Datensätzen, die den Teilnehmern nicht zugänglich gemacht wurden. Die Lösungen der Gewinner werden systematisch über alle Datensätze aller Runden evaluiert und mit klassischen maschinellen Lernalgorithmen verglichen, die in scikit-learn verfügbar sind. Alle im Rahmen dieses Kapitels besprochenen Materialien (Daten und Code) sind öffentlich zugänglich unter http://automl.chalearn.org/.

Benchmarks

BenchmarkMethodikMetriken
automl-on-madelinedjajetic
Duration: 5842.12
Rank (AutoML5): 3.00
Set1 (F1): 0.7531
Set2 (PAC): 0.3905
Set3 (AUC): 0.6875
Set4 (ABS): 0.3067
Set5 (BAC): 0.5517
automl-on-madelineaad_freiburg
Duration: 5942.22
Rank (AutoML5): 1.60
Set1 (F1): 0.7947
Set2 (PAC): 0.4061
Set3 (AUC): 0.5543
Set4 (ABS): 0.2957
Set5 (BAC): 0.5900
automl-on-madelinepostech.mlg_exbrain
Duration: 3343.64
Rank (AutoML5): 5.20
Set1 (F1): 0.7542
Set2 (PAC): 0.2802
Set3 (AUC): 0.3333
Set4 (ABS): 0.1507
Set5 (BAC): 0.5564
automl-on-madelineabhishek4
Duration: 4353.45
Rank (AutoML5): 4.60
Set1 (F1): 0.7565
Set2 (PAC): 0.0172
Set3 (AUC): 0.2911
Set4 (ABS): 0.2791
Set5 (BAC): 0.5595
automl-on-madelinereference_mb
Duration: 4889.14
Rank (AutoML5): 5.20
Set1 (F1): 0.7005
Set2 (PAC): 0.3698
Set3 (AUC): 0.6776
Set4 (ABS): 0.2507
Set5 (BAC): 0.4618
automl-on-madelinemarc.boulle
Duration: 4603.81
Rank (AutoML5): 6.40
Set1 (F1): 0.7005
Set2 (PAC): 0.3698
Set3 (AUC): -1.0000
Set4 (ABS): 0.2507
Set5 (BAC): 0.4618
automl-on-madelinereference
Duration: 4416.40
Rank (AutoML5): 4.40
Set1 (F1): 0.7556
Set2 (PAC): 0.0343
Set3 (AUC): 0.2927
Set4 (ABS): 0.2790
Set5 (BAC): 0.5601
automl-on-madelinereference_ls
Duration: 5879.88
Rank (AutoML5): 4.00
Set1 (F1): 0.7062
Set2 (PAC): 0.3708
Set3 (AUC): 0.5384
Set4 (ABS): 0.2856
Set5 (BAC): 0.5580

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Analyse der AutoML Challenge Series 2015–2018 | Forschungsarbeiten | HyperAI