SwinSF: إعادة بناء الصور من تدفقات النبضات الفضائية-الزمنية

يُعالج كاميرا السبَايك، بفضل دقتها الزمنية العالية، وتأخيرها المنخفض، ونطاقها الديناميكي العالي، التحديات المرتبطة بالتصوير عالي السرعة مثل الضباب الحركي. حيث تُلتقط الفوتونات عند كل بكسل بشكل مستقل، مما يُنتج تدفقات ثنائية (سبايك) غنية بالمعلومات الزمنية، لكنها تُشكل تحديًا في إعادة بناء الصور. ما زالت الخوارزميات الحالية، سواء التقليدية أو المستندة إلى التعلم العميق، بحاجة إلى تحسين في استغلال التفاصيل الزمنية الغنية واستعادة تفاصيل الصورة المُعاد بناؤها. وللتغلب على هذه المشكلة، نقدّم نموذجًا جديدًا يُسمى "سْوين سبيك فورمر" (SwinSF)، مُصمم لإعادة بناء المشاهد الديناميكية من تدفقات السبَايك. يتكون نموذج SwinSF من ثلاث وحدات رئيسية: استخلاص ميزات السبَايك، واستخلاص الميزات الفضائية-الزمنية، ووحدة إعادة البناء النهائية. ويجمع النموذج بين الانتباه المُحَوَّل بنافذة مُزاحة (shifted window self-attention) والانتباه الزمني للسبَايك المُقترح، مما يضمن استخلاصًا شاملاً للميزات ويُعبّر عن الديناميات الفضائية والزمنية معًا، ما يؤدي إلى إعادة بناء أكثر قوة ودقة للتدفقات السبَايكية. علاوةً على ذلك، قمنا ببناء مجموعة بيانات مُصاغة جديدة لإعادة بناء الصور السبَايكية، تتوافق مع دقة الكاميرا السبَايكية الأحدث، مما يضمن صلتها وملاءمتها للتطورات الحديثة في مجال تصوير السبَايك. تُظهر النتائج التجريبية أن الشبكة المقترحة SwinSF تُحدّد معيارًا جديدًا، وتُحقق أداءً متميزًا على مستوى الحالة الحالية عبر سلسلة من المجموعات البيانات، بما في ذلك البيانات الواقعية والمعمّلة على مختلف الدقة. سيتم إتاحة الكود المصدري والبيانات المقترحة قريبًا.