التكبير الجانبي المظلم: توليد أمثلة ليلية متنوعة لتعلم القياس

تعتمد أساليب استرجاع الصور القائمة على واصفات الشبكة العصبية التلافيفية (CNN) على تعلم المقاييس من عدد كبير من الأمثلة المتنوعة للزوجيات الصورية الإيجابية والسلبية. تُعاني المجالات، مثل الصور الليلية، من أداء ضعيف في الاسترجاع حتى مع استخدام الأساليب التي تُظهر أداءً متميزًا على المعايير القياسية، وذلك بسبب نقص البيانات التدريبية المتوفرة وتقلّل تنوعها. نقترح تدريب مُولِّد صور اصطناعية يعتمد على الشبكة العصبية التلافيفية التوليدية (GAN)، يحوّل الأمثلة المتاحة من الصور النهارية إلى صور ليلية. ويُستخدم هذا المُولِّد في تعلم المقاييس كشكل من أشكال التوسعة، حيث يزوّد البيانات التدريبية للنطاق النادر. وتم تقييم وتحليل أنواع مختلفة من المُولِّدات. ونُسهم ببنية جديدة خفيفة الوزن للشبكة العصبية التلافيفية التوليدية (GAN) تُطبّق اتساقًا بين الصورة الأصلية والصورة المحولة من خلال اتساق الحواف. كما تتيح البنية المقترحة تدريبًا متزامنًا لكاشف الحواف يعمل على كل من الصور النهارية والليلية. ولزيادة التباين في أمثلة التدريب وتحقيق أقصى درجة من التعميم للنموذج المُدرَّب، نُقدّم طريقة جديدة لاستخراج العناصر المرجعية المتنوعة.يُحسّن الأسلوب المقترح النتائج المُحقَّقة في الحد الأدنى من الأداء على معيار استرجاع الصور القياسية Tokyo 24/7 (النهار/الليل)، مع الحفاظ على الأداء الممتاز على مجموعتي بيانات أكسفورد وباريس. ويتم تحقيق هذا الأداء دون الحاجة إلى تدريب أزواج صور متطابقة بين النهار والليل. يمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/mohwald/gandtr.