In-Context Edit ist ein effizientes Framework für die anweisungsbasierte Bildbearbeitung, das am 29. April 2025 von der Zhejiang University und der Harvard University veröffentlicht wurde. Im Vergleich zu früheren Methoden verfügt ICEdit über nur 1% trainierbare Parameter (200 M) und 0,1% Trainingsdaten (50.000), zeigt eine starke Generalisierungsfähigkeit und kann verschiedene Bearbeitungsaufgaben bewältigen. Im Vergleich zu kommerziellen Modellen wie Gemini und GPT4o ist es Open Source, kostengünstiger, schneller und leistungsfähiger. Die relevanten Papierergebnisse sindIn-Context-Bearbeitung: Aktivieren der lehrreichen Bildbearbeitung mit In-Context-Generierung im Large Scale Diffusion Transformer".
Dieses Tutorial verwendet eine einzelne RTX 4090-Karte als Ressource. Wenn Sie die offiziell genannten 9 Sekunden zur Bilderzeugung erreichen möchten, benötigen Sie eine Grafikkarte mit höherer Ausstattung. Dieses Projekt unterstützt derzeit nur Textbeschreibungen in englischer Sprache.
In diesem Projekt verwendete Modelle:
normal-lora
FLUX.1-Fill-dev
2. Projektbeispiele
Vergleich mit anderen Geschäftsmodellen
3. Bedienungsschritte
1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen
Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.
2. Nutzen Sie die Demonstration
❗️Wichtige Anwendungstipps:
Orientierungsskala: Es wird verwendet, um zu steuern, inwieweit bedingte Eingaben (wie Text oder Bilder) in generativen Modellen die generierten Ergebnisse beeinflussen. Höhere Richtwerte führen dazu, dass die generierten Ergebnisse besser mit den Eingabebedingungen übereinstimmen, während niedrigere Werte mehr Zufälligkeit beibehalten.
Anzahl der Inferenzschritte: Stellt die Anzahl der Iterationen des Modells oder die Anzahl der Schritte im Inferenzprozess dar und stellt die Anzahl der Optimierungsschritte dar, die das Modell zum Generieren des Ergebnisses verwendet. Eine höhere Anzahl von Schritten führt im Allgemeinen zu genaueren Ergebnissen, kann aber die Rechenzeit verlängern.
Samen: Zufallszahlen-Seed, der zur Steuerung der Zufälligkeit des Generierungsprozesses verwendet wird. Derselbe Seed-Wert kann dieselben Ergebnisse erzeugen (vorausgesetzt, dass die anderen Parameter gleich sind), was für die Reproduktion von Ergebnissen sehr wichtig ist.
4. Diskussion
🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓
Zitationsinformationen
Dank an den Github-Benutzer SuperYang Bereitstellung dieses Tutorials. Die Zitationsinformationen für dieses Projekt lauten wie folgt:
@misc{zhang2025ICEdit,
title={In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer},
author={Zechuan Zhang and Ji Xie and Yu Lu and Zongxin Yang and Yi Yang},
year={2025},
eprint={2504.20690},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2504.20690},
}
