Einführung in das Tutorial

Mit dieser Tutorial-Demo können Sie ein gegebenes biologisches Bild nach Familie, Gattung, Art usw. klassifizieren. Es handelt sich um die beste Studentenarbeit des CVPR2024.BioCLIP: Ein Vision Foundation-Modell für den Baum des Lebens„Die Gradio-Version Demo von “.

BioCLIP-Forschungshintergrund

Im Vergleich zu allgemeinen Aufgaben ist der Beschriftungsraum der biologischen Computervision umfangreicher. Es gibt nicht nur eine riesige Anzahl an Klassifizierungsanmerkungen, die Annotationen sind auch im hierarchischen Klassifizierungssystem miteinander verknüpft. Dies bringt zweifellos enorme Herausforderungen für das Training von Basismodellen mit hoher Artenabdeckung und starken Generalisierungsfähigkeiten mit sich.

Die Forscher stützen sich auf Hunderte von Jahren Erfahrung in der biologischen Forschung und sind überzeugt, dass das Modell, wenn es die Struktur des Annotationsraums erfolgreich kodieren kann, möglicherweise auch dann, wenn eine bestimmte Art nicht beobachtet wurde, in der Lage ist, die zugehörige Gattung oder Familie zu identifizieren und eine entsprechende Darstellung bereitzustellen. Diese hierarchische Darstellung wird dazu beitragen, das Lernen neuer Taxa mit wenigen oder sogar gar keinen Versuchen zu erreichen. Auf dieser Grundlage entschieden sich die Forscher für CLIP, eine von OpenAI entwickelte multimodale Modellarchitektur, und nutzten das multimodale kontrastive Lernziel von CLIP, um das Vortraining auf TREEOFLIFE-10M fortzusetzen.

Effektvorschau

Schritte ausführen

1. Nachdem Sie das Tutorial geklont und gestartet haben, kopieren Sie die API-Adresse direkt und fügen Sie sie in eine beliebige URL ein (die Echtnamenauthentifizierung muss abgeschlossen sein, und es ist nicht erforderlich, den Arbeitsbereich für diesen Schritt zu öffnen).

2. Rufen Sie die Gradio-Oberfläche auf und laden Sie das zu identifizierende Bild hoch.

Diese Demo bietet zwei Modi: „offen“ und „Zero-Shot“.

• Der „offene“ Modus bietet sieben Klassifizierungsebenen: Reich, Stamm, Klasse, Ordnung, Familie, Gattung und Art. Benutzer können Bilder hochladen und die zu klassifizierende Ebene auswählen, um Klassifizierungsaufgaben durchzuführen. Je feiner die erforderliche Klassifizierungsstufe ist, desto schwieriger ist die Klassifizierung.
• Der „Zero-Shot“-Modus ermöglicht es Benutzern, die zu klassifizierenden Kategorien anzugeben. Nach dem Hochladen des Bildes kann das Model angeben, zu welchen Kategorien das Bild gehört.

Offenes Ende

Wählen Sie die Ebene aus, die Sie klassifizieren möchten, und klicken Sie auf die Schaltfläche „Senden“, um die Klassifizierungsergebnisse zu generieren.

Nullschuss

Geben Sie mehrere mögliche Kategorien ein, die klassifiziert werden sollen, und klicken Sie auf die Schaltfläche „Senden“, um die Klassifizierungsergebnisse zu generieren.

Diskussion und Austausch

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [Tutorial Exchange], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓