HyperAIHyperAI

Command Palette

Search for a command to run...

SwinSF: إعادة بناء الصور من تدفقات النبضات الفضائية-الزمنية

Liangyan Jiang Chuang Zhu Yanxu Chen

الملخص

يُعالج كاميرا السبَايك، بفضل دقتها الزمنية العالية، وتأخيرها المنخفض، ونطاقها الديناميكي العالي، التحديات المرتبطة بالتصوير عالي السرعة مثل الضباب الحركي. حيث تُلتقط الفوتونات عند كل بكسل بشكل مستقل، مما يُنتج تدفقات ثنائية (سبايك) غنية بالمعلومات الزمنية، لكنها تُشكل تحديًا في إعادة بناء الصور. ما زالت الخوارزميات الحالية، سواء التقليدية أو المستندة إلى التعلم العميق، بحاجة إلى تحسين في استغلال التفاصيل الزمنية الغنية واستعادة تفاصيل الصورة المُعاد بناؤها. وللتغلب على هذه المشكلة، نقدّم نموذجًا جديدًا يُسمى "سْوين سبيك فورمر" (SwinSF)، مُصمم لإعادة بناء المشاهد الديناميكية من تدفقات السبَايك. يتكون نموذج SwinSF من ثلاث وحدات رئيسية: استخلاص ميزات السبَايك، واستخلاص الميزات الفضائية-الزمنية، ووحدة إعادة البناء النهائية. ويجمع النموذج بين الانتباه المُحَوَّل بنافذة مُزاحة (shifted window self-attention) والانتباه الزمني للسبَايك المُقترح، مما يضمن استخلاصًا شاملاً للميزات ويُعبّر عن الديناميات الفضائية والزمنية معًا، ما يؤدي إلى إعادة بناء أكثر قوة ودقة للتدفقات السبَايكية. علاوةً على ذلك، قمنا ببناء مجموعة بيانات مُصاغة جديدة لإعادة بناء الصور السبَايكية، تتوافق مع دقة الكاميرا السبَايكية الأحدث، مما يضمن صلتها وملاءمتها للتطورات الحديثة في مجال تصوير السبَايك. تُظهر النتائج التجريبية أن الشبكة المقترحة SwinSF تُحدّد معيارًا جديدًا، وتُحقق أداءً متميزًا على مستوى الحالة الحالية عبر سلسلة من المجموعات البيانات، بما في ذلك البيانات الواقعية والمعمّلة على مختلف الدقة. سيتم إتاحة الكود المصدري والبيانات المقترحة قريبًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp