HyperAIHyperAI

Command Palette

Search for a command to run...

التدريس العكسي للمعرفة: تدريب نموذج كبير باستخدام نموذج صغير لتطابق صور الشبكية في بيانات محدودة

Nasser Sahar Almahfouz ; Gupte Nihar ; Sethi Amit

الملخص

يلعب مطابقة صور الشبكية دورًا مهمًا في مراقبة تقدم الأمراض واستجابة العلاج. ومع ذلك، فإن المجموعات البيانات التي تحتوي على نقاط مفتاحية متطابقة بين أزواج الصور المنفصلين زمنيًا ليست متاحة بكثرة لتدريب النماذج القائمة على التحويلات (transformer-based). نقترح نهجًا جديدًا يعتمد على التقطير المعرفي العكسي (reverse knowledge distillation) لتدريب النماذج الكبيرة مع بيانات محدودة بينما يتم منع الإفراط في التكيف (overfitting). أولاً، نقترح تعديلات هندسية على طريقة شبه المراقبة القائمة على الشبكة العصبية المتلافهة (CNN-based) تسمى SuperRetina، والتي تساعدنا في تحسين نتائجها على مجموعة بيانات متاحة للجمهور. ثم، نقوم بتدريب نموذج حاسوبي أكثر ثقلًا يعتمد على كودر تحويل الرؤية (vision transformer encoder) باستخدام النموذج الأخف القائم على الشبكة العصبية المتلافهة (CNN-based)، وهو ما يعد غير مباشر في مجال بحوث التقطير المعرفي حيث يعتبر تدريب النماذج الأخف بناءً على النماذج الأكثر ثقلًا هو المعتاد. بشكل مفاجئ، يحسن هذا التقطير المعرفي العكسي التعميم بشكل أكبر. تقترح تجاربنا أن التطابق ذي البعد العالي في فضاء التمثيل قد يمنع الإفراط في التكيف خلافًا للتدريب المباشر لمطابقة الإخراج النهائي. كما نوفر مجموعة بيانات عامة تحتوي على ضبط للنقاط الرئيسية لصور الشبكية ومطابقتها لمساعدة المجتمع البحثي في تطوير خوارزميات لتطبيقات صور الشبكية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp