مخطط تكييف المجال غير المراقب للتعرف على الأعمال الفنية ذات المرحلة الواحدة في المواقع الثقافية

تمكّن عملية التعرف على الأعمال الفنية في المواقع الثقافية باستخدام الصور المُلتقطة من منظور المستخدم (الرؤية من الشخص الأول) من بناء تطبيقات مثيرة للاهتمام لكل من الزوار ومسؤولي الموقع. ومع ذلك، فإن خوارزميات الكشف عن الأجسام الحالية التي تعمل في بيئات مُراقبة بالكامل تحتاج إلى تدريبها باستخدام كميات كبيرة من البيانات المُعلَّمة، حيث يتطلب جمع هذه البيانات وقتًا طويلاً وتكاليف عالية للحصول على أداء جيد. ويمكن تقليل هذه التكاليف باستخدام بيانات اصطناعية تم إنشاؤها من نموذج ثلاثي الأبعاد للموقع الثقافي لتدريب الخوارزميات. من ناحية أخرى، عند اختبار هذه النماذج باستخدام صور حقيقية، يُلاحظ انخفاض كبير في الأداء ناتجًا عن الفروق بين الصور الحقيقية والاصطناعية. في هذه الدراسة، نتناول مشكلة التكيف بين المجالات غير المُراقبة (Unsupervised Domain Adaptation) في الكشف عن الأجسام داخل المواقع الثقافية. ولحل هذه المشكلة، قمنا بإنشاء مجموعة بيانات جديدة تحتوي على صور اصطناعية وحقيقية لـ 16 عملًا فنيًا مختلفًا. ثم قمنا بدراسة تقنيات مختلفة لتكيف المجال، تعتمد على كاشفات الأجسام ذات المرحلة الواحدة وكاشفات ذات مرحلتين، وتحويل الصور من صورة إلى أخرى، ومحاذاة السمات. وباستناد إلى الملاحظة التي تشير إلى أن كاشفات المرحلة الواحدة أكثر مقاومةً لانحراف المجال في الظروف المدروسة، قمنا بتطوير طريقة جديدة تعتمد على نموذج RetinaNet ومحاذاة السمات، وسُميت بـ DA-RetinaNet. وقد أظهرت النتائج أن النهج المقترح يحقق أداءً أفضل مقارنةً بالطرق الأخرى على مجموعة البيانات المقترحة وعلى مجموعة Cityscapes. ولدعم الأبحاث في هذا المجال، نُطلق مجموعة البيانات عبر الرابط التالي: https://iplab.dmi.unict.it/EGO-CH-OBJ-UDA/، ونُزوّد أيضًا برمز النموذج المقترح عبر الرابط: https://github.com/fpv-iplab/DA-RetinaNet.