HyperAIHyperAI

Command Palette

Search for a command to run...

الترجمة، والتوسيع، والدوران: المحاذاة عبر الوسائط تلتقي بالكشف عن المركبات باستخدام الصور الملونة والأشعة تحت الحمراء

Maoxun Yuan Yinyan Wang Xingxing Wei

الملخص

تمثل دمج البيانات متعددة الطيف في كشف الكائنات، وخاصة الصور المرئية والأشعة تحت الحمراء، محور اهتمام كبير في السنوات الأخيرة. نظرًا لأن الصور المرئية (RGB) والأشعة تحت الحمراء (IR) تقدم معلومات مكملة قادرة على التعامل مع التغيرات في الإضاءة، تُستخدم الصور المزدوجة في العديد من المجالات، مثل كشف المشاة متعدد الطيف، وحساب الحشود باستخدام الصور RGB-IR، وكشف الكائنات البارزة باستخدام الصور RGB-IR. بالمقارنة مع الصور الطبيعية RGB-IR، نلاحظ أن كشف الكائنات في الصور الجوية RGB-IR يعاني من مشكلة التداخل الضعيف بين النماذج (cross-modal weakly misalignment)، والتي تتجلى في انحرافات في الموضع والحجم والزاوية لنفس الكائن بين الصورتين. في هذه الورقة، نعالج بشكل رئيسي تحدي التداخل الضعيف بين النماذج في الصور الجوية RGB-IR. وبشكل محدد، نقدم تحليلًا وشرحًا لأسباب هذه المشكلة أولاً، ثم نقترح وحدة تسمى "محاذاة النقل والمقاس والدوران" (Translation-Scale-Rotation Alignment - TSRA)، والتي تعالج هذه المشكلة من خلال معايرة خرائط الميزات الناتجة عن كلا الطيفين. وتُنبِّه الوحدة إلى الانحراف بين الكائنات في النمطين من خلال عملية محاذاة، وتُوظِّف استراتيجية اختيار النمط (Modality-Selection - MS) لتحسين أداء المحاذاة. وأخيرًا، تم بناء كاشف ثنائي التدفق لمحاذاة الميزات (Two-Stream Feature Alignment Detector - TSFADet) بناءً على وحدة TSRA، لتطبيق كشف الكائنات في الصور الجوية باستخدام الطيفين RGB-IR. وتم التحقق من فعالية طريقة البحث من خلال تجارب شاملة على مجموعة بيانات DroneVehicle العامة، حيث أظهرت النتائج أن الطريقة تقلل من تأثير التداخل بين النماذج، وتحقق نتائج كشف موثوقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp