Command Palette
Search for a command to run...
Nicht-binäre tiefe Transfer-Lernverfahren für die Bildklassifikation
Nicht-binäre tiefe Transfer-Lernverfahren für die Bildklassifikation
Jo Plested Xuyang Shen Tom Gedeon
Zusammenfassung
Derzeitiger Standard für eine Vielzahl von Aufgaben im Bereich des Computersehens mit nur wenigen gelabelten Trainingsbeispielen besteht darin, von Gewichten zu fine-tunen, die auf einem großen Bildklassifizierungsdatensatz wie ImageNet vortrainiert wurden. Die Anwendung von Transfer-Learning-Methoden neigt dazu, streng binär zu sein: Ein Modell ist entweder vortrainiert oder nicht. Das Vortrainieren eines Modells erhöht entweder die Leistung oder verringert sie – letzteres wird als negative Transfer-Learning-Wirkung bezeichnet. Die Anwendung von L2-SP-Regularisierung, die die Gewichte in Richtung ihrer vortrainierten Werte abbremst, wird entweder angewendet oder alle Gewichte werden gegen 0 abgebremst. In dieser Arbeit werden diese Annahmen erneut hinterfragt. Unsere Empfehlungen basieren auf einer umfassenden empirischen Evaluation, die den Einsatz eines nicht-binären Ansatzes zur Erzielung optimaler Ergebnisse belegt. (1) Die Erzielung der besten Leistung auf jedem einzelnen Datensatz erfordert eine sorgfältige Anpassung verschiedener Transfer-Learning-Hyperparameter, die üblicherweise nicht berücksichtigt werden, darunter die Anzahl der zu übertragenden Schichten, unterschiedliche Lernraten für verschiedene Schichten sowie verschiedene Kombinationen aus L2SP- und L2-Regularisierung. (2) Die beste Praxis kann durch verschiedene Maße für die Passgenauigkeit der vortrainierten Gewichte auf dem Ziel-Datensatz erreicht werden, um optimale Hyperparameter zu leiten. Wir stellen Methoden für einen nicht-binären Transfer-Learning-Ansatz vor, darunter die Kombination von L2SP- und L2-Regularisierung sowie die Durchführung nicht-traditioneller Hyperparameter-Suchen beim Fine-Tuning. Schließlich geben wir Heuristiken zur Bestimmung optimaler Transfer-Learning-Hyperparameter an. Die Vorteile eines nicht-binären Ansatzes werden durch die abschließenden Ergebnisse gestützt, die auf einer Vielzahl von Aufgaben, die traditionell schwieriger für Transfer-Learning waren, nahezu oder sogar die aktuell beste Leistung erreichen.