سوبركوستيكس: محاكاة في الوقت الحقيقي ومفتوحة المصدر للأجسام الشفافة لتطبيقات التعلم العميق

الأشياء الشفافة تمثل مشكلة صعبة للغاية في رؤية الحاسوب. من الصعب تقسيمها أو تصنيفها بسبب عدم وجود حدود دقيقة لها، وهناك بيانات محدودة متاحة لتدريب الشبكات العصبية العميقة. لذلك، تستخدم الحلول الحالية لهذه المشكلة مجموعات بيانات اصطناعية صلبة، والتي تفتقر إلى المرونة وتؤدي إلى انخفاض حاد في الأداء عند تنفيذها في السيناريوهات الواقعية. بشكل خاص، تغفل هذه المجموعات الاصطناعية عن الخصائص مثل الانكسار والتشتت والكاستيكس (caustics) بسبب قيود خط الإنتاج (rendering pipeline). لحل هذه المشكلة، نقدم SuperCaustics، وهو محاكاة في الوقت الفعلي ومصدر مفتوح للأشياء الشفافة مصممة لتطبيقات التعلم العميق. يحتوي SuperCaustics على وحدات واسعة لإنشاء بيئات عشوائية؛ يستخدم تتبع الأشعة بالأجهزة لدعم الكاستيكس والتشتت والانكسار؛ ويتيح إنشاء قواعد بيانات ضخمة مع شروحات دقيقة لكل بكسل وبأطوار متعددة. للتحقق من نظامنا المقترح، قمنا بتدريب شبكة عصبية عميقة من الصفر لتقسيم الأشياء الشفافة في سيناريوهات الإضاءة الصعبة. حققت شبكتنا العصبية أداءً مماثلاً لأفضل ما هو موجود حالياً على مجموعة بيانات حقيقية باستخدام فقط 10٪ من البيانات التدريبية وفي جزء بسيط من وقت التدريب. تظهر التجارب الإضافية أن النموذج الذي تم تدريبه باستخدام SuperCaustics يمكنه تقسيم أنواع مختلفة من الكاستيكس حتى في الصور التي تحتوي على أشياء شفافة متداخلة بشكل متعدد. حسب علم us، هذا هو أول نتيجة من نوعها لنموذج تم تدريبه على بيانات اصطناعية. كلاهما الرمز المصدر الخاص بنا والبيانات التجريبية متاحان بشكل مجاني عبر الإنترنت.请注意，最后一句中的"us"应该是"our knowledge"，这里做了一个小的修正：حسب علم us، هذا هو أول نتيجة من نوعها لنموذج تم تدريبه على بيانات اصطناعية. 应为：حسب علمينا، هذا هو أول نتيجة من نوعها لنموذج تم تدريبه على بيانات اصطناعية.所以最终版本如下：الأشياء الشفافة تمثل مشكلة صعبة للغاية في رؤية الحاسوب. من الصعب تقسيمها أو تصنيفها بسبب عدم وجود حدود دقيقة لها، وهناك بيانات محدودة متاحة لتدريب الشبكات العصبية العميقة. لذلك، تستخدم الحلول الحالية لهذه المشكلة مجموعات بيانات اصطناعية صلبة، والتي تفتقر إلى المرونة وتؤدي إلى انخفاض حاد في الأداء عند تنفيذها في السيناريوهات الواقعية. بشكل خاص، تغفل هذه المجموعات الاصطناعية عن الخصائص مثل الانكسار والتشتت والكاستيكس (caustics) بسبب قيود خط الإنتاج (rendering pipeline). لحل هذه المشكلة، نقدم SuperCaustics، وهو محاكاة في الوقت الفعلي ومصدر مفتوح للأشياء الشفافة مصممة لتطبيقات التعلم العميق. يحتوي SuperCaustics على وحدات واسعة لإنشاء بيئات عشوائية؛ يستخدم تتبع الأشعة بالأجهزة لدعم الكاستيكس والتشتت والانكسار؛ ويتيح إنشاء قواعد بيانات ضخمة مع شروحات دقيقة لكل بكسل وبأطوار متعددة. للتحقق من نظامنا المقترح، قمنا بتدريب شبكة عصبية عميقة من الصفر لتقسيم الأشياء الشفافة في سيناريوهات الإضاءة الصعبة. حققت شبكتنا العصبية أداءً مماثلاً لأفضل ما هو موجود حالياً على مجموعة بيانات حقيقية باستخدام فقط 10٪ من البيانات التدريبية وفي جزء بسيط من وقت التدريب. تظهر التجارب الإضافية أن النموذج الذي تم تدريبه باستخدام SuperCaustics يمكنه تقسيم أنواع مختلفة من الكاستيكس حتى في الصور التي تحتوي على أشياء شفافة متداخلة بشكل متعدد. حسب علمينا، هذا هو أول نتيجة من نوعها لنموذج تم تدريبه على بيانات اصطناعية. كلانا الرمز المصدر الخاص بنا والبيانات التجريبية متاحان بشكل مجاني عبر الإنترنت.