Halluzinieren von sehr niedrigauflösenden, nicht ausgerichteten und verrauschten Gesichtsbildern mittels transformierender diskriminativer Autoencoder

Die meisten herkömmlichen Methoden zur Gesichts-Halluzination gehen davon aus, dass das Eingabebild ausreichend groß und ausgerichtet ist, und erfordern zudem, dass das Bild geräuschfrei ist. Ihre Leistung sinkt drastisch, wenn das Eingabebild klein, nicht ausgerichtet und durch Rauschen verunreinigt ist. In diesem Artikel stellen wir einen neuartigen transformierenden diskriminativen Autoencoder vor, der unalignierte, verrauschte und kleine (16×16) Niedrigauflösungs-Gesichtsbilder auf das 8-fache auflösen kann. Im Gegensatz zu klassischen Encoder-Decoder-basierten Autoencodern nutzt unsere Methode ein Decoder-Encoder-Decoder-Netzwerk. Zunächst verwenden wir ein transformierendes diskriminatives Decoder-Netzwerk, um gleichzeitig aufzulösen und zu entzerren. Anschließend projiziert ein transformierendes Encoder-Netzwerk die intermediären Hochauflösungs-Gesichter auf ausgerichtete und geräuschfreie Niedrigauflösungs-Gesichter zurück. Schließlich generiert das zweite Decoder-Netzwerk die hallucinierten Hochauflösungs-Bilder. Unsere umfangreichen Evaluierungen auf einem sehr großen Gesichtsdatensatz zeigen, dass unsere Methode herausragende Halluzinationsergebnisse erzielt und die aktuell besten Ansätze um einen erheblichen Vorsprung von 1,82 dB PSNR übertrifft.