Cross-stitch Netze für Multi-Task-Lernen

Das Multi-Task-Lernen in Faltungsnetzen (Convolutional Networks) hat im Bereich der Erkennung bemerkenswerte Erfolge gezeigt. Dieser Erfolg kann weitgehend darauf zurückgeführt werden, dass gemeinsame Repräsentationen aus mehreren Aufsichtsaufgaben gelernt werden. Bestehende Multi-Task-Ansätze hingegen basieren auf der Aufzählung von mehreren Netzwerkarchitekturen, die spezifisch für die jeweiligen Aufgaben sind und sich nicht verallgemeinern lassen. In dieser Arbeit schlagen wir einen präzedenzfälligen Ansatz vor, um gemeinsame Repräsentationen in ConvNets durch Multi-Task-Lernen zu erlernen. Insbesondere schlagen wir eine neue Teileinheit vor: die "Cross-Stitch" Einheit (Kreuzstich-Einheit). Diese Einheiten kombinieren die Aktivierungen aus mehreren Netzen und können end-to-end trainiert werden. Ein Netz mit Kreuzstich-Einheiten kann eine optimale Kombination von gemeinsamen und aufgabenspezifischen Repräsentationen erlernen. Unser vorgeschlagener Ansatz verallgemeinert sich über mehrere Aufgaben hinweg und zeigt eine dramatische Leistungssteigerung gegenüber den Basismethoden, insbesondere für Kategorien mit wenigen Trainingsbeispielen.