Ein System zur Echtzeit-Interaktiven Analyse des Trainings von Deep Learning

Die Durchführung von Diagnosen oder explorativen Analysen während des Trainings tiefer Lernmodelle ist herausfordernd, jedoch oft notwendig, um eine Folge von Entscheidungen auf der Grundlage inkrementeller Beobachtungen zu treffen. Derzeit verfügbare Systeme hierfür sind auf die Überwachung lediglich bereits vor Beginn des Trainings festgelegter Protokolldaten beschränkt. Jedes Mal, wenn neue Informationen benötigt werden, ist ein Zyklus aus Anhalten, Ändern und Neustarten des Trainingsprozesses erforderlich. Diese Einschränkungen erschweren interaktive Erkundung und Diagnose erheblich und führen zu langwierigen, mühsamen Iterationen im Modellentwicklungsprozess. Wir präsentieren ein neues System, das Benutzern ermöglicht, interaktive Abfragen in Echtzeit auf laufende Prozesse durchzuführen, wodurch Echtzeitinformationen in mehreren Formaten gleichzeitig auf mehreren Oberflächen in Form mehrerer gewünschter Visualisierungen dargestellt werden können. Um dies zu erreichen, modellieren wir verschiedene Aufgaben der explorativen Inspektion und Diagnose im Kontext des Trainings tiefer Lernmodelle als Spezifikationen für Datenströme unter Verwendung eines Map-Reduce-Paradigmas, mit dem viele Datenwissenschaftler bereits vertraut sind. Unser Entwurf erreicht Allgemeingültigkeit und Erweiterbarkeit durch die Definition komponierbarer Primitiven – ein grundlegend anderer Ansatz im Vergleich zu derzeit verfügbaren Systemen. Die Open-Source-Implementierung unseres Systems ist unter dem Namen TensorWatch-Projekt verfügbar unter https://github.com/microsoft/tensorwatch.