Command Palette
Search for a command to run...
Deep-Energie: Unüberwachte Trainierung tiefer Neuronaler Netze
Deep-Energie: Unüberwachte Trainierung tiefer Neuronaler Netze
Alona Golts Daniel Freedman Michael Elad
Zusammenfassung
Der Erfolg des tiefen Lernens ist zu einem großen Teil auf die Verfügbarkeit großer annotierter Datensätze zurückzuführen. Daher stellt die zeitaufwendige manuelle Annotation von Daten eine der wichtigsten Engpässe in aktuellen Lernpipelines dar. In Szenarien, in denen solche Eingabe-Ausgabe-Paare nicht erhoben werden können, wird häufig Simulation eingesetzt, was zu einem Domänenwechsel zwischen synthetischen und realen Daten führt. Diese Arbeit bietet eine unüberwachte Alternative, die auf der Verfügbarkeit taskspezifischer Energiefunktionen basiert und den generischen überwachten Verlust ersetzt. Solche Energiefunktionen sollen unter Berücksichtigung der Eingabe das gewünschte Label als ihr Minimierer liefern. Der vorgeschlagene Ansatz, als "Deep Energy" bezeichnet, trainiert ein Tiefes Neuronales Netz (DNN), um diese Minimierung für jede gewählte Eingabe zu approximieren. Sobald das Netzwerk trainiert ist, liefert eine einfache und schnelle Feedforward-Berechnung das inferierte Label. Dieser Ansatz ermöglicht es uns, DNNs unüberwacht mit realen Eingaben zu trainieren, ohne auf manuell annotierte Labels oder synthetisch erzeugte Daten angewiesen zu sein. In dieser Arbeit wird "Deep Energy" an drei verschiedenen Aufgaben demonstriert: gesäten Segmentierung (seeded segmentation), Bildmatting (image matting) und Entnebelung von Einzelbildern (single image dehazing). Unsere Experimente zeigen, dass die vom Netzwerk bereitgestellte Lösung oft wesentlich höherwertiger ist als die durch direkte Minimierung der Energiefunktion erzielte Lösung, was darauf hindeutet, dass unser Schema eine zusätzliche Regularisierungseigenschaft besitzt.