Pix3D: مجموعة بيانات وطرق لنمذجة الشكل ثلاثي الأبعاد من صورة واحدة

ندرس نمذجة الشكل ثلاثي الأبعاد من صورة واحدة ونقدم مساهمات في ثلاثة جوانب. أولاً، نقدم Pix3D، وهو معيار كبير الحجم يحتوي على أزواج صور-أشكال متنوعة مع تطابق بيكسل-بيكسل بين الأبعاد ثنائية وثلاثية. يتمتع Pix3D بتطبيقات واسعة في المهام المتعلقة بالشكل، مثل إعادة الإنشاء واسترجاع البيانات وتقدير الزاوية البصرية وغيرها. ومع ذلك، فإن بناء مثل هذا المجموعة الضخمة من البيانات يعد تحديًا كبيرًا؛ فالمجموعات الحالية إما تحتوي على بيانات اصطناعية فقط، أو تفتقر إلى التطابق الدقيق بين الصور ثنائية الأبعاد والأشكال ثلاثية الأبعاد، أو لديها عدد قليل من الصور فقط. ثانيًا، نقوم بضبط معايير التقييم لإعادة إنشاء الشكل ثلاثي الأبعاد من خلال دراسات سلوكية، ونستخدم هذه المعايير لتقييم موضوعي ومنهجي للخوارزميات الرائدة لإعادة الإنشاء على Pix3D. ثالثًا، نصمم نموذجًا جديدًا يقوم بإعادة الإنشاء ثلاثي الأبعاد وتقدير الوضعية بشكل متزامن؛ يحقق نهجنا للتعلم متعدد المهام أفضل الأداء في كلا المهمتين.