مقدمة البرنامج التعليمي

يمكن لهذا العرض التوضيحي التعليمي تصنيف صورة بيولوجية معينة حسب العائلة أو الجنس أو النوع وما إلى ذلك. وهو أفضل ورقة طلابية لـ CVPR2024.BioCLIP: نموذج مؤسسة الرؤية لشجرة الحياة"النسخة التجريبية من Gradio".

خلفية بحث BioCLIP

بالمقارنة مع المهام العامة، فإن مساحة تسمية الرؤية الحاسوبية البيولوجية أكثر ثراءً. لا يقتصر الأمر على أن عدد التعليقات التصنيفية ضخم فحسب، بل إن التعليقات مترابطة أيضًا في نظام التصنيف الهرمي. ولا شك أن هذا يفرض تحديات ضخمة على تدريب النماذج الأساسية ذات التغطية الواسعة للأنواع وقدرات التعميم القوية.

استناداً إلى مئات الأعوام من الخبرة في البحث البيولوجي، يعتقد الباحثون أنه إذا كان النموذج الأساسي قادراً على ترميز بنية مساحة التعليق بنجاح، فحتى لو لم يتم رؤية نوع معين، فقد يكون النموذج قادراً على تحديد جنسه أو عائلته المقابلة وإعطاء تمثيل مماثل. سيساعد هذا التمثيل الهرمي في تحقيق التعلم من خلال عدد قليل من اللقطات أو حتى من دون أي لقطة للتصنيفات الجديدة. وبناءً على ذلك، اختار الباحثون CLIP، وهو نموذج معماري متعدد الوسائط طورته شركة OpenAI، واستخدموا هدف التعلم التبايني متعدد الوسائط الخاص بـ CLIP لمواصلة التدريب المسبق على TREEOFLIFE-10M.

معاينة التأثير

خطوات التشغيل

1. بعد استنساخ البرنامج التعليمي وبدء تشغيله، انسخ عنوان API مباشرةً والصقه في أي عنوان URL (يجب إكمال مصادقة الاسم الحقيقي، ولا توجد حاجة لفتح مساحة العمل لهذه الخطوة)

2. أدخل إلى واجهة Gradio وقم بتحميل الصورة التي تريد التعرف عليها.

يوفر هذا العرض التوضيحي وضعين: "نهاية مفتوحة" و"بدون طلقة".

• يوفر الوضع "المفتوح" سبعة مستويات تصنيف: المملكة، والشعبة، والطبقة، والرتبة، والعائلة، والجنس، والنوع. يمكن للمستخدمين تحميل الصور وتحديد المستوى الذي يريدون تصنيفه لأداء مهام التصنيف. كلما كان مستوى التصنيف المطلوب أدق، كلما كان تصنيفه أكثر صعوبة.
• يتيح وضع "اللقطة الصفرية" للمستخدمين تقديم الفئات التي يجب تصنيفها. بعد تحميل الصورة، يمكن للنموذج تحديد الفئات التي تنتمي إليها الصورة.

مفتوح النهاية

قم بتحديد المستوى الذي تريد تصنيفه ثم انقر على زر "إرسال" لتوليد نتائج التصنيف.

صفر-شوت

أدخل عدة فئات محتملة لتصنيفها وانقر على زر "إرسال" لتوليد نتائج التصنيف.

المناقشة والتبادل

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [تبادل الدروس] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓