Ein unparteiischer Transformer für die Visualisierung von Geschichten

Story Visualization ist eine fortschrittliche Aufgabe der Computer Vision, die sich auf die sequenzielle Bildsynthese konzentriert. Dabei müssen die generierten Beispiele realistisch sein, den gegebenen Bedingungen treu bleiben und sequenziell konsistent sein. Unser Beitrag besteht in einem neuen architektonischen und trainingsbasierten Ansatz: Der Impartial Transformer erreicht sowohl plausiblen, textbezogenen Szenarien als auch sequenzielle Konsistenz unter Verwendung von möglichst wenigen trainierbaren Parametern. Diese Verbesserung ermöglicht es sogar, die Synthese von 'schwierigen' Beispielen mit verdeckten Objekten zu bewältigen und verbesserte Evaluationsmetriken im Vergleich zu früheren Ansätzen zu erzielen.