Command Palette
Search for a command to run...
Grad-CAM: تفسيرات مرئية من الشبكات العميقة من خلال التحديد القائم على التدرج
Grad-CAM: تفسيرات مرئية من الشبكات العميقة من خلال التحديد القائم على التدرج
الملخص
نُقدّم تقنية لإنتاج "توضيحات بصرية" لقرارات نماذج متعددة تعتمد على الشبكات العصبية التلافيفية (CNN)، مما يُعزّز شفافيتها. يعتمد نهجنا، المعروف باسم خريطة التنشيط الناتجة عن التدرج الموزون حسب الفئة (Grad-CAM)، على استخدام تدرجات أي مفهوم مستهدف، أثناء تدفقها نحو الطبقة التلافيفية النهائية، لإنشاء خريطة تحليلية تقريبية تُبرز المناطق المهمة في الصورة ذات الصلة بتوقع هذا المفهوم. تُطبّق تقنية Grad-CAM على مجموعة واسعة من عائلات النماذج الشبكية التلافيفية، بما في ذلك: (1) الشبكات التلافيفية التي تحتوي على طبقات متصلة بالكامل، (2) الشبكات التلافيفية المستخدمة في إنتاجات منظمة، (3) الشبكات التلافيفية المستخدمة في مهام تتضمن مدخلات متعددة الأنواع أو في سياقات التعلم المعزّز، دون الحاجة إلى أي تغييرات معمارية أو إعادة تدريب. ندمج Grad-CAM مع توضيحات بصرية دقيقة لخلق توضيحات عالية الدقة تميّز بين الفئات، ونطبّقها على نماذج جاهزة للتصنيف الصوتي، وإنشاء العناوين التوضيحية، والإجابة على الأسئلة البصرية (VQA)، بما في ذلك الهياكل القائمة على ResNet. في سياق نماذج تصنيف الصور، تُظهر توضيحاتنا أن: (أ) تُقدّم رؤى حول حالات فشل النماذج، (ب) تكون مقاومة للصور المُعدّة خصيصًا للخداع (الصور الضارة)، (ج) تتفوّق على الأساليب السابقة من حيث التموضع الدقيق، (د) تكون أكثر وفاةً للنموذج الأساسي، (هـ) تُسهم في تحقيق التعميم من خلال تحديد التحيّزات الموجودة في البيانات. بالنسبة لمهام إنشاء العناوين التوضيحية والإجابة على الأسئلة البصرية، نُظهر أن حتى النماذج التي لا تعتمد على آلية الانتباه (attention) يمكنها التموضع في المدخلات. وقد طوّرنا طريقة لتحديد الخلايا العصبية المهمة باستخدام Grad-CAM، ودمجناها مع أسماء هذه الخلايا لتقديم تفسيرات نصية للقرارات التي تتخذها النماذج. وأخيرًا، صممنا ونفّذنا دراسات إنسانية لقياس مدى مساهمة Grad-CAM في بناء الثقة المناسبة لدى المستخدمين تجاه توقعات النماذج، وتبين أن Grad-CAM يُسهم في تمكين المستخدمين غير المدربين من التمييز بنجاح بين نموذج "أقوى" ونموذج "أضعف"، حتى عندما تُعطي النموذجان نفس التوقعات. يمكن الاطلاع على الكود المصدر لدينا عبر الرابط: https://github.com/ramprs/grad-cam/، مع عرض تجريبي متاح على: http://gradcam.cloudcv.org، ومقاطع فيديو على: youtu.be/COjUB9Izk6E.