Bellman-optimaler Schrittweiten-Verlauf bei Flow-Matching-Modellen

Flow Matching ist ein leistungsfähiges Framework zur Erzeugung hochwertiger Proben in verschiedenen Anwendungen, insbesondere bei der Bildsynthese. Allerdings stellen die intensiven Rechenanforderungen dieser Modelle – insbesondere während des Fine-Tuning- und der Sampling-Prozesse – erhebliche Herausforderungen in ressourcenarmen Umgebungen dar. In dieser Arbeit präsentieren wir die Bellman Optimal Stepsize Straightening (BOSS)-Technik zur Kompression von Flow-Matching-gestützten Generativmodellen: Ziel ist die effiziente Bildgenerierung in nur wenigen Schritten unter Einhaltung einer vorgegebenen Rechenbudget-Beschränkung. Zunächst wird ein dynamisches Programmierungsverfahren eingesetzt, um die Schrittweiten des vortrainierten Netzwerks zu optimieren. Anschließend wird das Geschwindigkeitsnetzwerk verfeinert, um den optimalen Schrittweiten zu entsprechen, wodurch die Generierungspfade „gerader“ gestaltet werden sollen. Umfassende experimentelle Evaluierungen über verschiedene Aufgaben der Bildgenerierung hinweg belegen die Wirksamkeit von BOSS hinsichtlich Ressourcennutzung und Bildqualität. Unsere Ergebnisse zeigen, dass BOSS erhebliche Effizienzgewinne erzielt, während die Qualität der erzeugten Proben konkurrenzfähig bleibt, und somit effektiv die Lücke zwischen ressourcenarmen Anforderungen und den hohen Anforderungen von Flow-Matching-Generativmodellen schließt. Zudem trägt unsere Arbeit zur verantwortungsvollen Entwicklung künstlicher Intelligenz bei, indem sie ein nachhaltigeres Generativmodell bietet, das Rechenkosten und Umweltbelastungen reduziert. Der Quellcode ist unter https://github.com/nguyenngocbaocmt02/BOSS verfügbar.