Flexible Multi-Task Networks durch Lernen der Parameterzuweisung

Diese Arbeit stellt eine neuartige Lernmethode für Anwendungen mit mehreren Aufgaben vor. Mehraufgaben-Neuronale Netze können Wissen zwischen verschiedenen Aufgaben durch Parameterfreigabe vermitteln. Allerdings kann die gemeinsame Nutzung von Parametern zwischen unverwandten Aufgaben die Leistung beeinträchtigen. Um dieses Problem zu lösen, schlagen wir einen Rahmen vor, um fein granulierte Muster der Parameterfreigabe zu lernen. Angenommen, das Netzwerk besteht aus mehreren Komponenten über verschiedene Schichten hinweg, verwendet unser Rahmen gelernte binäre Variablen, um Komponenten Aufgaben zuzuweisen, um eine stärkere Parameterfreigabe zwischen verwandten Aufgaben zu fördern und sie andernfalls zu unterbinden. Die binären Zuweisungsvariablen werden gemeinsam mit den Modellparametern mittels standardmäßiger Rückpropagierung gelernt, dank der Gumbel-Softmax-Reparametrisierungsmethode. Bei Anwendung auf die Omniglot-Benchmark-Aufgabe erreicht die vorgeschlagene Methode eine relative Fehlerreduzierung um 17 % gegenüber dem Stand der Technik.