اكتشاف الشذوذ الصناعي متعدد الوسائط عبر التكامل الهجين

تم مناقشة اكتشاف الشذوذ الصناعي القائم على الأبعاد الثنائية (2D) بشكل واسع، ومع ذلك لا تزال هناك العديد من المجالات غير المطروقة في اكتشاف الشذوذ الصناعي متعدد الوسائط القائم على السحابات النقطية ثلاثية الأبعاد (3D) والصور ثنائية الأبعاد (RGB). تقوم الطرق الحالية للكشف عن الشذوذ الصناعي متعدد الوسائط بدمج الخصائص متعددة الوسائط مباشرة، مما يؤدي إلى اضطراب قوي بين الخصائص ويضر بأداء الكشف. في هذا البحث، نقترح طريقة جديدة للكشف عن الشذوذ متعدد الوسائط تُسمى "Multi-3D-Memory" (M3DM)، والتي تتبنى مخطط دمج هجين: أولاً، نصمم دمجًا غير مشرف للخصائص باستخدام التعلم التبايني حسب القطعة لتشجيع التفاعل بين خصائص الوسائط المختلفة؛ ثانياً، نستخدم دمجًا على مستوى القرار مع ذاكرات متعددة لتجنب فقدان المعلومات ومصنفات جدة إضافية لاتخاذ القرار النهائي. كما نقترح عملية تنسيق الخصائص النقطية لتوفير تنسيق أفضل بين السحابة النقطية والخصائص RGB. تظهر التجارب الواسعة أن نموذجنا للكشف عن الشذوذ الصناعي متعدد الوسائط يتفوق على الطرق الرائدة (SOTA) في الدقة سواء في الكشف أو الفصل على مجموعة بيانات MVTec-3D AD. يمكن الحصول على الكود من الرابط https://github.com/nomewang/M3DM.