Übergangsmodelle: Neubewertung des generativen Lernziels

Ein fundamentales Dilemma in der generativen Modellierung bleibt bestehen: Iterative Diffusionsmodelle erreichen herausragende Fidelität, jedoch zu erheblichem Rechenaufwand, während effiziente Few-Step-Alternativen durch eine starke Qualitätsbegrenzung eingeschränkt sind. Dieser Konflikt zwischen Anzahl der Generationsstufen und Ausgabequalität resultiert aus restriktiven Trainingszielen, die ausschließlich entweder infinitesimale Dynamiken (PF-ODEs) oder direkte Endpunktvorhersagen betonen. Wir lösen diese Herausforderung, indem wir eine exakte, kontinuierliche Zeit-Dynamikgleichung einführen, die analytisch Zustandsübergänge über beliebige endliche Zeitintervalle definiert. Hierdurch entsteht ein neues generatives Paradigma, Transition Models (TiM), das sich an beliebige Schrittweiten anpasst und nahtlos die generative Trajektorie von einzelnen Sprüngen bis hin zu feinabgestimmten Verbesserungen mit mehr Schritten durchläuft. Trotz einer Parameteranzahl von lediglich 865 Mio. erreicht TiM Spitzenleistung und übertrifft führende Modelle wie SD3.5 (8 Mrd. Parameter) und FLUX.1 (12 Mrd. Parameter) bei allen evaluierten Schrittanzahlen. Wichtig ist, dass TiM im Gegensatz zu früheren Few-Step-Generatoren eine monoton steigende Qualitätsverbesserung zeigt, wenn die Sampling-Budgets erhöht werden. Zudem liefert TiM, wenn die native-Auflösungsstrategie angewendet wird, außergewöhnliche Fidelität bei Auflösungen bis zu 4096×4096.