Concrete Autoencoder für differenzierbare Merkmalsauswahl und Rekonstruktion

Wir stellen den konkreten Autoencoder vor, eine von Anfang bis Ende differenzierbare Methode zur globalen Merkmalsauswahl, die effizient eine Teilmenge der informativsten Merkmale identifiziert und gleichzeitig ein neuronales Netzwerk lernt, um die Eingabedaten aus den ausgewählten Merkmalen zu rekonstruieren. Unsere Methode ist unüberwacht und basiert auf der Verwendung einer konkreten Selektorschicht als Encoder und eines standardmäßigen neuronalen Netzwerks als Decoder. Während der Trainingsphase wird die Temperatur der konkreten Selektorschicht allmählich gesenkt, was dazu anregt, dass eine vom Benutzer spezifizierte Anzahl diskreter Merkmale gelernt werden. Im Testmodus können die ausgewählten Merkmale zusammen mit dem Decoder-Netzwerk verwendet werden, um die restlichen Eingabemerkmale zu rekonstruieren. Wir evaluieren konkrete Autoencoder auf einer Vielzahl von Datensätzen, bei denen sie erheblich über den aktuellen Stand der Technik hinausgehen, sowohl in Bezug auf die Merkmalsauswahl als auch auf die Datenrekonstruktion. Insbesondere bei einem großen genexpressions-Datensatz wählt der konkrete Autoencoder eine kleine Teilmenge von Genen aus, deren Expressionsniveaus verwendet werden können, um die Expressionsniveaus der übrigen Gene zu schätzen (impute). Dabei verbessert er sich gegenüber den momentan weit verbreiteten L1000-Landmark-Genen, die von Experten zusammengestellt wurden, und könnte potentiell die Messkosten um 20% senken. Der konkrete Autoencoder kann durch das Hinzufügen nur weniger Zeilen Code zu einem Standard-Autoencoder implementiert werden.