Spärliche Aktivität und spärliche Konnektivität im überwachten Lernen

Die Sparsität ist ein nützliches Regularisierungsverfahren für das Lernen in einer Vielzahl von Anwendungen, insbesondere in neuronalen Netzen. Dieses Papier stellt ein Modell vor, das auf Klassifizierungsaufgaben abzielt, bei denen spärliche Aktivität und spärliche Verbindungen verwendet werden, um die Klassifizierungsfähigkeiten zu verbessern. Das Werkzeug zur Erreichung dieses Ziels ist ein Sparsitätsfordernder Projektionsoperator, der für jeden gegebenen Vektor den nächstgelegenen Vektor mit einer vorgegebenen Sparsität findet. Im theoretischen Teil des Papers wird eine umfassende Theorie für einen solchen Projektionsoperator entwickelt. Es wird gezeigt, dass die Projektion fast überall differenzierbar ist und daher als glatte neuronale Übertragungsfunktion implementiert werden kann. Das gesamte Modell kann somit mithilfe von gradientenbasierten Methoden end-to-end angepasst werden. Experimente anhand der MNIST-Datenbank von handschriftlichen Ziffern zeigen, dass die Klassifizierungsleistung durch spärliche Aktivität oder spärliche Verbindungen gesteigert werden kann. Mit einer Kombination beider Aspekte kann die Leistung erheblich besser sein im Vergleich zu klassischen nicht-sparsen Ansätzen.