HyperAIHyperAI

Command Palette

Search for a command to run...

Neuronale Architektursuche mit Bayes'scher Optimierung und optimaler Transporttheorie

Kirthevasan Kandasamy Willie Neiswanger Jeff Schneider Barnabás Póczos Eric P Xing

Zusammenfassung

Bayessche Optimierung (BO) bezieht sich auf eine Klasse von Methoden zur globalen Optimierung einer Funktion fff, die nur über Punktauswertungen zugänglich ist. Sie wird in der Regel in Situationen eingesetzt, in denen die Auswertung von fff sehr kostspielig ist. Ein häufiges Anwendungsszenario für BO im Maschinellen Lernen ist die Modellauswahl, bei der es nicht möglich ist, die Generalisierungsleistung eines statistischen Modells analytisch zu modellieren. Stattdessen greifen wir auf verrauschte und kostspielige Trainings- und Validierungsverfahren zurück, um das beste Modell auszuwählen. Konventionelle BO-Methoden haben sich auf euklidische und kategorische Bereiche konzentriert, was im Kontext der Modellauswahl nur das Einstellen skalarer Hyperparameter von Maschinenlernalgorithmen erlaubt. Mit dem steigenden Interesse an tiefem Lernen gibt es jedoch einen wachsenden Bedarf, neuronale Netzwerk-\emph{Architekturen} einzustellen. In dieser Arbeit entwickeln wir NASBOT, ein auf Gaußschen Prozessen basierendes BO-Framework für die Suche nach neuronalen Architekturen. Um dies zu erreichen, entwickeln wir eine Distanzmetrik im Raum der neuronalen Netzwerkarchitekturen, die effizient durch ein Optimal Transport Programm berechnet werden kann. Diese Distanz könnte auch unabhängig vom BO für die tiefen Lerncommunity von Interesse sein, da sie Anwendungen außerhalb des BO finden könnte. Wir zeigen, dass NASBOT in mehreren auf Kreuzvalidierung basierenden Modellauswahl-Aufgaben bei Mehrlagennetzen (Multi-Layer Perceptrons) und Faltungsnetzen (Convolutional Neural Networks) anderen Alternativen zur Architektursuche überlegen ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp