Die Duke University Schlägt Einen KI-Algorithmus Vor, Um Mosaike Schlechter Qualität Zu Retten Und Sie in Sekundenschnelle in Hochauflösende Bilder Umzuwandeln

Wie ist es, ein „Mosaik“-Porträt auf Pixelebene in ein hochauflösendes Foto umzuwandeln? Der von der Duke University vorgeschlagene KI-Algorithmus kann nicht nur „Mosaike entfernen“, sondern ist auch präzise genug, um jede Falte und jedes Haar zu erkennen. Möchten Sie es ausprobieren?

In diesem Zeitalter des Strebens nach hochauflösender Bildqualität sinkt unsere Toleranz gegenüber schlechter Bildqualität immer mehr.

Wenn Sie auf Zhihu nach „niedriger Auflösung“ und „schlechter Bildqualität“ suchen, werden Ihnen zahlreiche Fragen angezeigt, beispielsweise „Wie konvertiere ich Fotos mit niedriger Auflösung in Fotos mit hoher Auflösung“, „Wie repariere ich Fotos mit geringer Klarheit“ und „Wie rettet man eine schlechte Bildqualität?“.

Wie ist es also, ein Bild auf Mosaikebene in Sekundenschnelle in High Definition umzuwandeln? Forscher der Duke University verwenden KI-Algorithmen, um Ihnen dies zu sagen.

Das Projekt ist jetzt auf GitHub verfügbar:https://github.com/adamian98/pulse

Beispiellos: „Mosaic“ wird sofort hochauflösend

Forscher der Duke University haben einen KI-Algorithmus namens PULSE (Foto-Upsampling durch latente Weltraumerkundung).

Der Algorithmus kann verschwommene, unkenntliche Bilder von Gesichtern in computergenerierte Bilder mit feineren und realistischeren Details als je zuvor umwandeln.

Wenn Sie mit der vorherigen Methode ein verschwommenes „Porträtfoto“ deutlicher machen möchten, können Sie das Foto maximal auf das Achtfache seiner Originalauflösung skalieren.

Doch ein Team der Duke University hat einen neuen Ansatz entwickelt.In nur wenigen SekundenSie können ein Bild mit niedriger Auflösung (LR) von 16 x 16 Pixeln um das 64-fache auf ein Bild mit hoher Auflösung (HR) von 1024 x 1024 Pixeln vergrößern.

Ihre KI-Tools „stellen sich“ Funktionen vor, die nicht existieren.Sogar Details, die auf den Originalfotos von LR nicht zu sehen sind, wie Poren, feine Linien, Wimpern, Haare und Bartstoppeln, sind nach der Verarbeitung durch den Algorithmus deutlich zu erkennen.

Schauen wir uns ein konkretes Beispiel an:

„Nie zuvor war es möglich, mit so wenigen Pixeln Bilder in Superauflösung und mit so vielen Details zu erstellen“, sagte Cynthia Rudin, Informatikerin an der Duke University, die das Team leitete.

In Bezug auf praktische Anwendungen sagte Sachit Menon, Co-Autor des Artikels: „In diesen Studien haben wir das Gesicht nur als Proof of Concept verwendet.

Theoretisch ist die Technologie jedoch universell und könnte zur Verbesserung der Bildqualität in Bereichen von der Medizin und Mikroskopie bis hin zur Astronomie und Satellitenbildgebung eingesetzt werden. "

Durchbrechen traditioneller Vorgehensweisen zur Erzielung optimaler Ergebnisse

Obwohl es bereits viele ähnliche Methoden zur Konvertierung von Low-Definition in High-Definition gibt, ist dies das erste Mal in der Branche, dass eine 64-fache Pixelvergrößerung erreicht werden kann.

  Traditionelle Methode: Pixelabgleich, fehleranfällig

Bei der Behandlung solcher Probleme wird bei herkömmlichen Methoden im Allgemeinen anhand des LR-Bilds „geschätzt“, wie viele zusätzliche Pixel benötigt werden. Anschließend wird versucht, die entsprechenden Pixel im zuvor verarbeiteten HR-Bild dem LR-Bild zuzuordnen.

Das bloße Anpassen von Pixeln führt dazu, dass es in Bereichen wie Haar- und Hauttexturen zu Pixelfehlanpassungen kommt.

Darüber hinaus ignoriert diese Methode auch Wahrnehmungsdetails wie die Lichtempfindlichkeit in HR-Bildern. Daher kommt es irgendwann zu Problemen mit der Glätte und Empfindlichkeit und das Ergebnis erscheint weiterhin verschwommen oder unwirklich.

Neue Methode: „Verknüpfung“ von Bildern mit niedriger Auflösung 

Man kann sagen, dass die vom Team der Duke University vorgeschlagene neue Methode neue Ideen eröffnet hat.

Nach dem Erhalt eines LR-Bildes fügt das PULSE-System nicht langsam neue Details hinzu.Stattdessen durchläuft es die von der KI generierten HR-Bilder, vergleicht die diesen HR-Bildern entsprechenden LR-Bilder mit dem Originalbild und findet das nächstgelegene.

Um es analog auszudrücken: Es ist das Gleiche, als würde man mit dem LR-Bild ein „Verbinde die Punkte“-Spiel spielen, die ähnlichste LR-Version finden und sich dann rückwärts vorarbeiten. Das diesem LR-Bild entsprechende HR-Bild ist das endgültige Ausgabeergebnis.

Das Team verwendete ein generatives kontradiktorisches Netzwerk (GAN).Es besteht aus zwei neuronalen Netzwerken, einem Generator und einem Diskriminator, die mit demselben Datensatz von Fotos trainiert wurden.

Der Generator simuliert die Gesichter, mit denen er trainiert wurde, und liefert ein von der KI erstelltes Gesicht, während der Diskriminator diese Ausgabe nimmt und bestimmt, ob sie realistisch genug ist, um mit einer Fälschung verwechselt zu werden.

Mit zunehmender Erfahrung wird der Generator immer besser, bis der Diskriminator keinen Unterschied mehr erkennen kann.

Sie verwendeten einige reale Bilder für Experimente und der Effektvergleich ist in der folgenden Abbildung dargestellt:

Obwohl das generierte hochauflösende Bild noch einige Lücken zum Originalbild aufweist, ist es viel klarer als bei früheren Methoden.

Bewertung: Übertrifft andere Methoden, Ergebnisse nahe an echten Fotos

Das Team evaluierte seinen Algorithmus anhand des bekannten hochauflösenden Gesichtsdatensatzes CelebA HQ und führte diese Experimente mit Skalierungsfaktoren von 64×, 32× und 8× durch.

Die Forscher baten 40 Personen, 1.440 von PULSE und fünf anderen Skalierungsmethoden generierte Bilder auf einer Skala von 1 bis 5 zu bewerten.PULSE schnitt am besten ab und erreichte fast so hohe Werte wie echte Fotos in hoher Qualität.

HR ist ein echter hochauflösender Porträtdatensatz und sein Score ist nur 0,14 höher als der von PULSE.

Teammitglieder sagten, dass PULSE realistische Bilder aus verrauschten, minderwertigen Eingaben erstellen kann, selbst wenn im Originalbild nicht einmal Augen und Mund zu erkennen sind. Dies ist etwas, was mit anderen Methoden nicht erreicht werden kann.

Zur Identitätserkennung könne das System allerdings noch nicht eingesetzt werden, so die Forscher: „Es kann ein unscharfes, nicht erkennbares Foto einer Überwachungskamera nicht in ein klares Bild einer realen Person umwandeln.“Es werden einfach neue Gesichter generiert, die nicht existieren, aber echt aussehen. "

Im Hinblick auf konkrete Anwendungsszenarien könnte diese Technologie in Zukunft darüber hinaus auch in der Medizin und Astronomie zum Einsatz kommen. Für die breite Öffentlichkeit ist es mit dieser Technologie möglich, alte Fotos, die vor N Jahren aufgenommen wurden, in High-Definition-Qualität umzuwandeln. Das sind großartige Neuigkeiten für Redakteure, da sie sich nicht mehr um die Suche nach hochauflösenden Illustrationen kümmern müssen.

Herzliche Erinnerung: Die Forscher werden ihre Methode auch auf der laufenden CVPR 2020 (Conference on Computer Vision and Pattern Recognition) vorstellen, also achten Sie darauf:

http://cvpr2020.thecvf.com/program/tutorials

Papieradresse:

https://arxiv.org/pdf/2003.03808.pdf

Quellen:

https://www.sciencedaily.com/releases/2020/06/200612111409.htm

-- über--