HyperAIHyperAI

Command Palette

Search for a command to run...

Nicht-binäre tiefe Transfer-Lernverfahren für die Bildklassifikation

Jo Plested Xuyang Shen Tom Gedeon

Zusammenfassung

Derzeitiger Standard für eine Vielzahl von Aufgaben im Bereich des Computersehens mit nur wenigen gelabelten Trainingsbeispielen besteht darin, von Gewichten zu fine-tunen, die auf einem großen Bildklassifizierungsdatensatz wie ImageNet vortrainiert wurden. Die Anwendung von Transfer-Learning-Methoden neigt dazu, streng binär zu sein: Ein Modell ist entweder vortrainiert oder nicht. Das Vortrainieren eines Modells erhöht entweder die Leistung oder verringert sie – letzteres wird als negative Transfer-Learning-Wirkung bezeichnet. Die Anwendung von L2-SP-Regularisierung, die die Gewichte in Richtung ihrer vortrainierten Werte abbremst, wird entweder angewendet oder alle Gewichte werden gegen 0 abgebremst. In dieser Arbeit werden diese Annahmen erneut hinterfragt. Unsere Empfehlungen basieren auf einer umfassenden empirischen Evaluation, die den Einsatz eines nicht-binären Ansatzes zur Erzielung optimaler Ergebnisse belegt. (1) Die Erzielung der besten Leistung auf jedem einzelnen Datensatz erfordert eine sorgfältige Anpassung verschiedener Transfer-Learning-Hyperparameter, die üblicherweise nicht berücksichtigt werden, darunter die Anzahl der zu übertragenden Schichten, unterschiedliche Lernraten für verschiedene Schichten sowie verschiedene Kombinationen aus L2SP- und L2-Regularisierung. (2) Die beste Praxis kann durch verschiedene Maße für die Passgenauigkeit der vortrainierten Gewichte auf dem Ziel-Datensatz erreicht werden, um optimale Hyperparameter zu leiten. Wir stellen Methoden für einen nicht-binären Transfer-Learning-Ansatz vor, darunter die Kombination von L2SP- und L2-Regularisierung sowie die Durchführung nicht-traditioneller Hyperparameter-Suchen beim Fine-Tuning. Schließlich geben wir Heuristiken zur Bestimmung optimaler Transfer-Learning-Hyperparameter an. Die Vorteile eines nicht-binären Ansatzes werden durch die abschließenden Ergebnisse gestützt, die auf einer Vielzahl von Aufgaben, die traditionell schwieriger für Transfer-Learning waren, nahezu oder sogar die aktuell beste Leistung erreichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp