LAION-SG est un ensemble de données de compréhension d'images à grande échelle et de haute qualité construit par l'Université du Zhejiang, l'Université de Jiangnan, l'Université de Pékin, Alibaba Group et Ant Group en 2024.LAION-SG : un ensemble de données à grande échelle amélioré pour la formation de modèles image-texte complexes avec annotations structurellesLAION-SG contient 540 005 paires graphe-image de scène avec annotations d'objet, d'attribut et de relation, réparties en ensembles d'apprentissage, de validation et de test. Les images de l'ensemble de données proviennent de LAION-Aesthetics V2 (6.5+), et le processus d'annotation utilise GPT-4o pour l'annotation automatique.

Par rapport à l'ensemble de données LAION-Aesthetics d'origine, la longueur moyenne des annotations et la précision de LAION-SG sont améliorées. Chaque échantillon de cet ensemble de données contient en moyenne 6,39 objets, ce qui augmente les informations sur les objets de 20%. Si l’on exclut les noms propres abstraits, cet avantage passe à 216%.

L'ensemble de données LAION-SG convient à une variété de domaines de recherche intermodaux d'images et de texte, notamment la génération de descriptions d'images, les systèmes de réponses visuelles aux questions et les tâches de récupération d'images, qui reposent tous sur une compréhension approfondie et une analyse sémantique du contenu de l'image.