Colorization Transformer

Wir stellen den Colorization Transformer vor, einen neuartigen Ansatz zur vielfältigen und hochauflösenden Bildfarbgebung, der auf selbstbezogenem Aufmerksamkeitsmechanismus basiert. Gegeben ein Graustufenbild erfolgt die Farbgebung in drei Schritten. Zunächst nutzen wir einen bedingten autoregressiven Transformer, um eine grobe, niedrigauflösende Farbgebung des Graustufenbildes zu erzeugen. Unsere Architektur setzt bedingte Transformer-Schichten ein, um die Graustufen-Eingabe effektiv zu konditionieren. Anschließend folgen zwei vollständig parallele Netze, die die grob gefärbte, niedrigauflösende Darstellung in eine fein gefärbte, hochauflösende Bildversion hochauflösen. Die Stichproben aus dem Colorization Transformer erzeugen vielfältige Farbungen, deren Qualität die bisher beste Methode bei der Farbgebung von ImageNet-Bildern sowohl anhand der FID-Metriken als auch anhand einer menschlichen Bewertung in einem Mechanical Turk-Test übertrifft. Erstaunlicherweise bevorzugen die menschlichen Bewertenden in mehr als 60 % der Fälle die am besten bewertete der drei generierten Farbversionen gegenüber der Originalversion (Ground Truth). Der Quellcode und vortrainierte Checkpoints für den Colorization Transformer sind öffentlich unter https://github.com/google-research/google-research/tree/master/coltran verfügbar.