Nicht-binäre tiefe Transfer-Lernverfahren für die Bildklassifikation

Derzeitiger Standard für eine Vielzahl von Aufgaben im Bereich des Computersehens mit nur wenigen gelabelten Trainingsbeispielen besteht darin, von Gewichten zu fine-tunen, die auf einem großen Bildklassifizierungsdatensatz wie ImageNet vortrainiert wurden. Die Anwendung von Transfer-Learning-Methoden neigt dazu, streng binär zu sein: Ein Modell ist entweder vortrainiert oder nicht. Das Vortrainieren eines Modells erhöht entweder die Leistung oder verringert sie – letzteres wird als negative Transfer-Learning-Wirkung bezeichnet. Die Anwendung von L2-SP-Regularisierung, die die Gewichte in Richtung ihrer vortrainierten Werte abbremst, wird entweder angewendet oder alle Gewichte werden gegen 0 abgebremst. In dieser Arbeit werden diese Annahmen erneut hinterfragt. Unsere Empfehlungen basieren auf einer umfassenden empirischen Evaluation, die den Einsatz eines nicht-binären Ansatzes zur Erzielung optimaler Ergebnisse belegt. (1) Die Erzielung der besten Leistung auf jedem einzelnen Datensatz erfordert eine sorgfältige Anpassung verschiedener Transfer-Learning-Hyperparameter, die üblicherweise nicht berücksichtigt werden, darunter die Anzahl der zu übertragenden Schichten, unterschiedliche Lernraten für verschiedene Schichten sowie verschiedene Kombinationen aus L2SP- und L2-Regularisierung. (2) Die beste Praxis kann durch verschiedene Maße für die Passgenauigkeit der vortrainierten Gewichte auf dem Ziel-Datensatz erreicht werden, um optimale Hyperparameter zu leiten. Wir stellen Methoden für einen nicht-binären Transfer-Learning-Ansatz vor, darunter die Kombination von L2SP- und L2-Regularisierung sowie die Durchführung nicht-traditioneller Hyperparameter-Suchen beim Fine-Tuning. Schließlich geben wir Heuristiken zur Bestimmung optimaler Transfer-Learning-Hyperparameter an. Die Vorteile eines nicht-binären Ansatzes werden durch die abschließenden Ergebnisse gestützt, die auf einer Vielzahl von Aufgaben, die traditionell schwieriger für Transfer-Learning waren, nahezu oder sogar die aktuell beste Leistung erreichen.