Trotz der jüngsten Fortschritte kämpfen bestehende Verfahren zur Framesinterpolation weiterhin mit der Verarbeitung von extrem hochaufgelösten Eingaben und der Bewältigung anspruchsvoller Fälle wie wiederholten Texturen, dünnen Objekten und großen Bewegungen. Um diese Probleme anzugehen, stellen wir ein patchbasiertes kaskadiertes Pixel-Diffusionsmodell für hochaufgelöste Framesinterpolation vor, das als HiFI bezeichnet wird. HiFI zeichnet sich durch eine herausragende Leistung in diesen Szenarien aus und erreicht gleichzeitig wettbewerbsfähige Ergebnisse bei Standard-Benchmarks.Kaskaden, die eine Reihe von Bildern von niedriger zu hoher Auflösung generieren, können bei großen oder komplexen Bewegungen erheblich helfen, die sowohl globale Kontextinformationen für eine grobe Lösung als auch detaillierte Kontextinformationen für hochaufgelöste Ausgaben benötigen. Im Gegensatz zu früheren Arbeiten über kaskadierte Diffusionsmodelle, die auf steigenden Auflösungen Diffusion durchführen, verwenden wir ein einzelnes Modell, das stets auf derselben Auflösung Diffusion durchführt und durch die Verarbeitung von Patchs der Eingaben und der vorherigen Lösung aufsamplet. Bei der Inferenz reduziert dies den Speicherverbrauch erheblich und ermöglicht es einem einzigen Modell, sowohl die Framesinterpolation (die Aufgabe des Basismodells) als auch die räumliche Aufsampling zu lösen, was auch die Trainingskosten spart.HiFI leistet hervorragend bei hochaufgelösten Bildern und komplexen wiederholten Texturen, die einen globalen Kontext erfordern. Es erreicht vergleichbare oder bahnbrechende Leistungen bei verschiedenen Benchmarks (Vimeo, Xiph, X-Test und SEPE-8K). Wir führen außerdem einen neuen Datensatz ein, LaMoR (Large Motion and Repetitive Textures), der sich besonders anspruchsvollen Fällen widmet. Hierbei übertrifft HiFI andere Baseline-Verfahren deutlich. Bitte besuchen Sie unsere Projektseite für Videoergebnisse: https://hifi-diffusion.github.io