Alchimiste : Transformer les données publiques texte-en-image en or générateur

Le pré-entraînement dote les modèles de génération d'images à partir de texte (T2I) d'une vaste connaissance du monde, mais cela seul est souvent insuffisant pour atteindre une haute qualité esthétique et une bonne alignement. Par conséquent, le peaufinage supervisé (SFT) est crucial pour une amélioration supplémentaire. Cependant, son efficacité dépend fortement de la qualité du jeu de données utilisé pour le peaufinage. Les jeux de données SFT publics existants ciblent fréquemment des domaines restreints (par exemple, l'animation japonaise ou des styles artistiques spécifiques), et la création de jeux de données SFT généralistes de haute qualité reste un défi majeur. Les méthodes actuelles de sélection sont souvent coûteuses et peinent à identifier des échantillons véritablement pertinents. Ce défi est encore aggravé par la rareté des jeux de données généralistes publics, car les modèles de pointe s'appuient souvent sur des données internes propriétaires et mal documentées, ce qui entrave les progrès de la recherche plus large. Cet article introduit une nouvelle méthodologie pour créer des jeux de données SFT généralistes en utilisant un modèle génératif pré-entraîné comme estimateur d'échantillons d'entraînement à fort impact. Nous appliquons cette méthodologie pour construire et publier Alchimiste, un jeu de données SFT compact (3 350 échantillons) mais très efficace. Les expériences montrent que Alchimiste améliore considérablement la qualité générative de cinq modèles T2I publics tout en préservant la diversité et le style. De plus, nous mettons à disposition les poids des modèles peaufinés au public.Note: - "Text-to-image" is translated as "génération d'images à partir de texte" to maintain clarity and professionalism.- "Alchemist" is translated as "Alchimiste" to keep the name recognizable while adhering to French naming conventions.- The term "compact" is used directly as it is commonly understood in both languages.- The phrase "high-impact training samples" is translated as "échantillons d'entraînement à fort impact" to convey the significance of these samples in the context of model training.