Introduction au tutoriel

Cette démo de tutoriel peut classer une image biologique donnée par famille, genre, espèce, etc. C'est le meilleur article étudiant de CVPR2024.BioCLIP : un modèle de fondation de vision pour l'arbre de vie"La version démo de Gradio".

Contexte de la recherche BioCLIP

Comparé aux tâches générales, l’espace d’étiquetage de la vision par ordinateur biologique est plus riche. Non seulement le nombre d’annotations de classification est énorme, mais les annotations sont également interconnectées dans le système de classification hiérarchique. Cela pose sans aucun doute d’énormes défis pour la formation de modèles de base avec une couverture d’espèces élevée et de fortes capacités de généralisation.

S'appuyant sur des centaines d'années d'expérience en recherche biologique, les chercheurs pensent que si le modèle sous-jacent peut encoder avec succès la structure de l'espace d'annotation, alors même si une espèce particulière n'a pas été observée, le modèle peut être en mesure d'identifier son genre ou sa famille correspondant et de donner une représentation correspondante. Cette représentation hiérarchique permettra d’obtenir un apprentissage en quelques coups, voire en zéro coup, de nouveaux taxons. Sur cette base, les chercheurs ont choisi CLIP, une architecture de modèle multimodale développée par OpenAI, et ont utilisé l'objectif d'apprentissage contrastif multimodal de CLIP pour poursuivre la pré-formation sur TREEOFLIFE-10M.

Aperçu de l'effet

Étapes de course

1. Après avoir cloné le didacticiel et l'avoir démarré, copiez directement l'adresse de l'API et collez-la dans n'importe quelle URL (l'authentification par nom réel doit avoir été effectuée et il n'est pas nécessaire d'ouvrir l'espace de travail pour cette étape)

2. Entrez dans l'interface Gradio et téléchargez l'image à identifier.

Cette démo propose deux modes : « ouvert » et « zéro tir ».

• Le mode « ouvert » propose sept niveaux de classification : royaume, embranchement, classe, ordre, famille, genre et espèce. Les utilisateurs peuvent télécharger des images et sélectionner le niveau à classer pour effectuer des tâches de classification. Plus le niveau de classification requis est fin, plus il est difficile de classer.
• Le mode « zero-shot » permet aux utilisateurs de fournir les catégories à classer. Après avoir téléchargé l'image, le modèle peut indiquer les catégories auxquelles appartient l'image.

Ouvert

Sélectionnez le niveau que vous souhaitez classer et cliquez sur le bouton « Soumettre » pour générer les résultats de la classification.

Zero-Shot

Saisissez plusieurs catégories possibles à classer et cliquez sur le bouton « soumettre » pour générer les résultats de la classification.

Discussion et échange

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutorial Exchange] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓