Command Palette
Search for a command to run...
Verlustbehaftete Kompression für verlustfreie Vorhersage
Verlustbehaftete Kompression für verlustfreie Vorhersage
Yann Dubois Benjamin Bloem-Reddy Karen Ullrich Chris J. Maddison
Zusammenfassung
Die meisten Daten werden automatisch erfasst und werden nur von Algorithmen „wahrgenommen“. Dennoch bewahren Datenkompressoren die wahrnehmungsbezogene Treue, anstatt lediglich die Informationen zu erhalten, die Algorithmen für nachfolgende Aufgaben benötigen. In diesem Paper charakterisieren wir die Bitrate, die erforderlich ist, um eine hohe Leistung bei allen prädiktiven Aufgaben zu gewährleisten, die invariant unter einer bestimmten Menge von Transformationen – beispielsweise Datenverstärkungen – sind. Auf Basis dieser Theorie entwickeln wir unsupervisierte Zielsetzungen zur Trainierung neuronalen Kompressoren. Mit diesen Zielsetzungen trainieren wir einen allgemeinen Bildkompressor, der im Vergleich zu JPEG auf acht Datensätzen erhebliche Rate-Einsparungen erzielt (mehr als 1000-fach auf ImageNet), ohne die Leistung bei nachfolgenden Klassifikationsaufgaben zu beeinträchtigen.