تعلم التمثيل المستمر للصورة باستخدام دالة صورة ضمنية محلية

كيفية تمثيل الصورة؟ بينما يُقدَّم العالم البصري بشكل مستمر، تخزن الآلات وتشاهد الصور بطريقة منفصلة باستخدام مصفوفات ثنائية الأبعاد من البكسلات. في هذه الورقة، نسعى إلى تعلم تمثيل مستمر للصور. مستلهمين من التقدم الأخير في إعادة بناء الأجسام ثلاثية الأبعاد باستخدام التمثيل العصبي الضمني، نقترح دالة الصورة الضمنية المحلية (LIIF)، التي تأخذ إحداثيًا للصورة والسمات العميقة ثنائية الأبعاد المحيطة بهذا الإحداثي كمدخلات، وتُنتج قيمة RGB عند الإحداثي المحدد كمخرج. وبما أن الإحداثيات مستمرة، يمكن لـ LIIF أن تُمثل بحلّة غير محدودة. لتكوين تمثيل مستمر للصور، نُدرّب مشغلًا (Encoder) باستخدام تمثيل LIIF من خلال مهمة ذاتية التعلّم (Self-supervised) تتضمن التكبير العالي للدقة. يمكن للتمثيل المستمر المُتعلم أن يُعرض بحلّة غير محدودة، بل حتى يمتد إلى دقة أعلى بثلاثين مرة، رغم أن المهام التدريبية لم تُقدّم فيها بيانات بدلالة هذه الدقة. ونُظهر أيضًا أن تمثيل LIIF يُشكّل جسرًا بين التمثيلات المنفصلة والمستمرة في البعدين، حيث يدعم بشكل طبيعي مهام التعلّم التي تتضمن بيانات حقيقية (Ground-truth) ذات أحجام مختلفة، ويتفوّق بشكل ملحوظ على الطرق التي تعتمد على تغيير حجم بيانات الحقيقة.