Effiziente Parametrisierung von mehrdomänen-tiefen Neuronalen Netzen

Eine praktische Einschränkung tiefer neuronaler Netze besteht in ihrem hohen Grad an Spezialisierung auf eine einzelne Aufgabe und ein visuelles Gebiet. Kürzlich, inspiriert durch die Erfolge des Transferlearnings, haben mehrere Autoren vorgeschlagen, stattdessen universelle, feste Merkmalsextraktoren zu lernen, die als erste Stufe jedes tiefen Netzes verwendet werden können und gleichzeitig gut für mehrere Aufgaben und Gebiete funktionieren. Trotzdem sind solche universellen Merkmale noch etwas unterlegen im Vergleich zu spezialisierten Netzwerken.Um diese Einschränkung zu überwinden, schlagen wir in dieser Arbeit vor, stattdessen universelle parametrische Familien von neuronalen Netzen zu betrachten, die immer noch spezialisierte problembezogene Modelle enthalten, sich aber nur durch einer kleinen Anzahl von Parametern unterscheiden. Wir untersuchen verschiedene Designs für solche Parametrisierungen, darunter serielle und parallele Residual-Adapter (residual adapters), gemeinsame Adapterkompression (joint adapter compression) und Parameterzuweisungen, und identifizieren empirisch diejenigen, die die höchste Kompression erzielen. Wir zeigen außerdem, dass zur Maximierung der Leistung sowohl flache als auch tiefe Schichten eines tiefen Netzes angepasst werden müssen, jedoch sind die erforderlichen Änderungen sehr gering. Zudem demonstrieren wir, dass diese universellen Parametrisierungen für das Transferlearning sehr effektiv sind, wo sie traditionellen Feinabstimmungstechniken (fine-tuning techniques) überlegen sind.