Neural TMDlayer: نمذجة التدفق الفوري للسمات من خلال مُولِّدات SDE

ندرس كيف يمكن لفكرة المعادلات التفاضلية العشوائية (SDE) أن تُلهم تحسينات جديدة على الخوارزميات الحالية لسلسلة من المشكلات في رؤية الحاسوب. وبصورة غير رسمية، يرتبط صياغتنا بكل من الاستراتيجيتين الصريحة والضمنية لتوسيع البيانات والتوازن المجموعي (group equivariance)، لكنها مشتقة من نتائج جديدة في الأدبيات المتعلقة بـ SDE حول تقدير المُولّدات اللانهائية لفئة من العمليات العشوائية. إذا وعندما تتطابق بشكل مقبول بين احتياجات تطبيق معين أو مهمة ما والخصائص والسلوك المتأصلة في الأنواع من العمليات التي يمكننا التعامل معها بكفاءة، فإننا نحصل على طبقة بسيطة وفعالة يمكن تركيبها بسهولة ضمن أي بنية شبكة موجودة، مع تقليل الحد الأدنى من التعديلات وعدد بسيط جدًا من المعلمات الإضافية. ونُظهر نتائج واعدة في عدد من مهام الرؤية، بما في ذلك التعلم بعينات قليلة (few-shot learning)، والمحولات السحابية للنقاط (point cloud transformers)، والتقسيم التوافقي العميق (deep variational segmentation)، حيث تم تحقيق تحسينات في الكفاءة أو الأداء.