HyperAIHyperAI

Command Palette

Search for a command to run...

Rangfolge von Neuronalen Checkpoints

Yandong Li Xuhui Jia Ruoxin Sang Yukun Zhu Bradley Green Liqiang Wang Boqing Gong

Zusammenfassung

Dieses Papier befasst sich mit der Rangfolge von vielen vorab trainierten tiefen neuronalen Netzen (DNNs), die als Checkpoints bezeichnet werden, für das Transferlernen zu einer nachgelagerten Aufgabe. Dank der weit verbreiteten Anwendung von DNNs können wir leicht Hunderte von Checkpoints aus verschiedenen Quellen sammeln. Welcher von ihnen überträgt sich am besten auf unsere nachgelagerte Aufgabe von Interesse? Um diese Frage gründlich zu beantworten, etablieren wir einen Benchmark für die Rangfolge neuronaler Checkpoints (NeuCRaB) und untersuchen einige intuitive Rangfolgemetriken. Diese Metriken sind generisch und können auf Checkpoints verschiedener Ausgabetypen angewendet werden, ohne dass bekannt ist, wie oder auf welchem Datensatz die Checkpoints vortrainiert wurden. Sie erzeugen zudem geringe Rechenkosten, was ihre praktische Bedeutung erhöht. Unsere Ergebnisse deuten darauf hin, dass die lineare Trennbarkeit der durch die Checkpoints extrahierten Merkmale ein starker Indikator für die Übertragbarkeit ist. Wir entwickeln auch eine neue Rangfolgemetrik, NLEEP, die in den Experimenten die beste Leistung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp