Tensorisierung von Neuronalen Netzen

Tiefe neuronale Netze zeigen derzeit eine Spitzenleistung in mehreren Bereichen. Gleichzeitig sind Modelle dieser Klasse in Bezug auf Rechenressourcen sehr anspruchsvoll. Insbesondere erfordern die häufig verwendeten vollständig verbundenen Schichten (fully-connected layers) einen großen Speicherbedarf, was es schwierig macht, die Modelle auf Geräten mit geringen Leistungsmerkmalen zu verwenden und die weitere Vergrößerung der Modellgröße zu verhindert. In dieser Arbeit konvertieren wir die dichten Gewichtsmatrizen der vollständig verbundenen Schichten ins Tensor-Train-Format, sodass die Anzahl der Parameter um einen enormen Faktor reduziert wird und gleichzeitig die Ausdrucksstärke der Schicht erhalten bleibt. Insbesondere berichten wir für die sehr tiefen VGG-Netze von einem Kompressionsfaktor der dichten Gewichtsmatrix eines vollständig verbundenen Layers von bis zu 200.000 Mal, was zu einem Kompressionsfaktor des gesamten Netzwerks von bis zu 7 Mal führt.