التعلم العميق باستخدام الصور الملونة والحرارية على متن طائرة مسيرة لمراقبة العمليات

يصف هذا المقال المكون المُعتمد على الذكاء الاصطناعي (AI) في طائرة مُسيرة مُخصصة لمهمات الرصد والدوران المرتبطة بعمليات الإغاثة من الكوارث في سيناريوهات كارثية محددة ومُقيّدة، حسب ما حددته مؤسسة الروبوتات المتقدمة في اليابان. يستخدم المكون المُعتمد على الذكاء الاصطناعي نماذج تعلم عميق لتمييز البيئة واكتشاف الأجسام. ولغرض تمييز البيئة، نستخدم تقنية التجزئة الدلالية (semantic segmentation)، أو التصنيف البكسل-بـبكسسل، بناءً على الصور الملونة (RGB). أما اكتشاف الأجسام فيُعد عنصراً محورياً في اكتشاف الأشخاص المحتاجين وتحديد مواقعهم. وبما أن الأشخاص يُعدّون كائنات صغيرة نسبياً من منظور الطائرة المُسيرة، نستخدم صوراً ملونة (RGB) وصوراً حرارية (thermal) معًا. ولتدريب النماذج، قمنا بإنشاء مجموعة بيانات جديدة متعددة الطيف ومتاحة للجمهور، تتضمن صوراً للأشخاص. استخدمنا طريقة تحديد الموقع الجغرافي (geo-location) لتحديد مواقع الأشخاص على الأرض. وقد تم اختبار نماذج التجزئة الدلالية بشكل واسع باستخدام مستخرجات ميزات مختلفة. كما أنشأنا مجموعتي بيانات مخصصتين، وقمنا بجعلهما متاحتين للجمهور. ومقارنةً بالنموذج الأساسي (baseline)، كان بإمكان أفضل نموذج تحقيق زيادة بنسبة 1.3% في متوسط تقاطع الوحدة (mean Intersection over Union - IoU). علاوة على ذلك، قارنا نوعين من نماذج اكتشاف الأشخاص: الأول هو نموذج مجمّع (ensemble model) يدمج المعلومات من الصور الملونة والحرارية عبر "دمج متأخر" (late fusion)، والثاني هو نموذج رباعي القنوات (4-channel model) يدمج هاتين النوعين من المعلومات بطريقة "دمج مبكر" (early fusion). أظهرت النتائج أن النموذج رباعي القنوات حقق زيادة بنسبة 40.6% في الدقة المتوسطة (average precision) عند قيم IoU الصارمة (0.75) مقارنةً بالنموذج المجمّع، وزيادة بنسبة 5.8% مقارنةً بالنموذج الحراري وحده. تم نشر جميع النماذج واختبارها على منصة NVIDIA AGX Xavier. وبمعرفتنا، فإن هذه الدراسة تمثل أول دراسة تستخدم بيانات ملونة وحرارية معًا من منظور طائرة مُسيرة لأغراض الرصد.