Textbearbeitung im Freien Feld

In dieser Arbeit befassen wir uns mit der Bearbeitung von Text in natürlichen Bildern, wobei das Ziel darin besteht, ein Wort im Quellbild durch ein anderes zu ersetzen oder zu modifizieren, während sein realistisches Aussehen erhalten bleibt. Diese Aufgabe ist herausfordernd, da sowohl der Stil des Hintergrunds als auch der des Textes beibehalten werden muss, damit das bearbeitete Bild optisch nicht vom Quellbild zu unterscheiden ist. Insbesondere schlagen wir ein von Anfang bis Ende trainierbares Stilbeibehaltungnetzwerk (SRNet) vor, das aus drei Modulen besteht: dem Textkonvertierungsmodul, dem Hintergrund-Inpainting-Modul und dem Fusionsmodul. Das Textkonvertierungsmodul ändert den Textinhalt des Quellbilds in den Zieltext, während es den ursprünglichen Textstil beibehält. Das Hintergrund-Inpainting-Modul löscht den ursprünglichen Text und füllt die Textregion mit geeigneter Texture. Das Fusionsmodul kombiniert die Informationen der beiden vorigen Module und generiert die bearbeiteten Textbilder. Nach unserem Wissen ist dies der erste Versuch, Text in natürlichen Bildern auf Wortebene zu bearbeiten. Sowohl die visuellen Effekte als auch die quantitativen Ergebnisse an synthetischen und realen Datensätzen (ICDAR 2013) bestätigen vollständig die Bedeutung und Notwendigkeit der modularen Zerlegung. Wir führen zudem umfangreiche Experimente durch, um die Nützlichkeit unserer Methode in verschiedenen realen Anwendungen wie Textbildsynthese, erweiterte Realität (AR)-Übersetzung, Informationsversteckung usw. zu überprüfen.