Rangfolge von Neuronalen Checkpoints

Dieses Papier befasst sich mit der Rangfolge von vielen vorab trainierten tiefen neuronalen Netzen (DNNs), die als Checkpoints bezeichnet werden, für das Transferlernen zu einer nachgelagerten Aufgabe. Dank der weit verbreiteten Anwendung von DNNs können wir leicht Hunderte von Checkpoints aus verschiedenen Quellen sammeln. Welcher von ihnen überträgt sich am besten auf unsere nachgelagerte Aufgabe von Interesse? Um diese Frage gründlich zu beantworten, etablieren wir einen Benchmark für die Rangfolge neuronaler Checkpoints (NeuCRaB) und untersuchen einige intuitive Rangfolgemetriken. Diese Metriken sind generisch und können auf Checkpoints verschiedener Ausgabetypen angewendet werden, ohne dass bekannt ist, wie oder auf welchem Datensatz die Checkpoints vortrainiert wurden. Sie erzeugen zudem geringe Rechenkosten, was ihre praktische Bedeutung erhöht. Unsere Ergebnisse deuten darauf hin, dass die lineare Trennbarkeit der durch die Checkpoints extrahierten Merkmale ein starker Indikator für die Übertragbarkeit ist. Wir entwickeln auch eine neue Rangfolgemetrik, NLEEP, die in den Experimenten die beste Leistung erzielt.