HyperAIHyperAI

Command Palette

Search for a command to run...

Clustering d'images avec une guidance externe

Yunfan Li Peng Hu Dezhong Peng Jiancheng Lv Jianping Fan Xi Peng

Résumé

Le cœur du regroupement réside dans l’intégration de connaissances a priori afin de construire des signaux de supervision. Depuis les méthodes classiques comme k-means fondées sur la compacité des données jusqu’aux approches récentes de clustering contrastif guidées par une auto-supervision, l’évolution des méthodes de regroupement correspond intrinsèquement à l’évolution des signaux de supervision. À l’heure actuelle, de nombreux efforts ont été consacrés à l’extraction de signaux de supervision internes à partir des données. Toutefois, les connaissances externes abondantes — telles que les descriptions sémantiques — qui favorisent naturellement le regroupement, sont lamentablement ignorées. Dans ce travail, nous proposons d’utiliser la connaissance externe comme un nouveau signal de supervision pour guider le regroupement, même si elle semble a priori étrangère aux données fournies. Pour mettre en œuvre et valider cette idée, nous avons conçu une méthode de regroupement guidée par des données externes (Text-Aided Clustering, TAC), qui exploite les significations sémantiques des mots du dictionnaire WordNet afin d’améliorer le regroupement d’images. Plus précisément, TAC sélectionne tout d’abord et récupère les noms de WordNet qui permettent le mieux de distinguer les images, afin d’améliorer la discriminabilité des caractéristiques. Ensuite, pour renforcer les performances du regroupement d’images, TAC exploite une collaboration entre modalités textuelles et visuelles en s’appuyant sur une distillation mutuelle d’informations de voisinage intermodales. Les expérimentations montrent que TAC atteint un niveau d’expertise (state-of-the-art) sur cinq benchmarks largement utilisés pour le regroupement d’images, ainsi que sur trois benchmarks plus exigeants, y compris l’intégralité du jeu de données ImageNet-1K.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp