HyperAIHyperAI

Command Palette

Search for a command to run...

Colorization Transformer

Manoj Kumar Dirk Weissenborn Nal Kalchbrenner

Zusammenfassung

Wir stellen den Colorization Transformer vor, einen neuartigen Ansatz zur vielfältigen und hochauflösenden Bildfarbgebung, der auf selbstbezogenem Aufmerksamkeitsmechanismus basiert. Gegeben ein Graustufenbild erfolgt die Farbgebung in drei Schritten. Zunächst nutzen wir einen bedingten autoregressiven Transformer, um eine grobe, niedrigauflösende Farbgebung des Graustufenbildes zu erzeugen. Unsere Architektur setzt bedingte Transformer-Schichten ein, um die Graustufen-Eingabe effektiv zu konditionieren. Anschließend folgen zwei vollständig parallele Netze, die die grob gefärbte, niedrigauflösende Darstellung in eine fein gefärbte, hochauflösende Bildversion hochauflösen. Die Stichproben aus dem Colorization Transformer erzeugen vielfältige Farbungen, deren Qualität die bisher beste Methode bei der Farbgebung von ImageNet-Bildern sowohl anhand der FID-Metriken als auch anhand einer menschlichen Bewertung in einem Mechanical Turk-Test übertrifft. Erstaunlicherweise bevorzugen die menschlichen Bewertenden in mehr als 60 % der Fälle die am besten bewertete der drei generierten Farbversionen gegenüber der Originalversion (Ground Truth). Der Quellcode und vortrainierte Checkpoints für den Colorization Transformer sind öffentlich unter https://github.com/google-research/google-research/tree/master/coltran verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp