PoSeg: شبكة تحسين واعية للوضعية لفصل هوية الإنسان

يُعد التجزئة الفردية للإنسان مشكلة مركزية لفهم المشاهد ذات المحور البشري، حيث تشكل عملية تجزئة الكيانات البشرية تحديًا فريدًا للأنظمة البصرية نظرًا للتباين الكبير داخل الفئة من حيث المظهر والشكل، بالإضافة إلى أنماط التداخل المعقدة. في هذه الورقة، نقترح طريقة جديدة لتقسيم الكيانات البشرية تأخذ بعين الاعتبار الوضعية (pose-aware). على عكس الطرق السابقة التي تعتمد على توقع الوضعيات من الأسفل إلى الأعلى (bottom-up) أولاً، ثم تقدير التجزئة الفردية فوق الوضعيات المُتوقعَة، فإن طريقتنا تدمج بين الإشارات من الأعلى إلى الأسفل (top-down) والأسفل إلى الأعلى (bottom-up) للكيان الواحد: حيث تستخدم نتائج الكشف كمقترحات بشرية، وتحدد الوضعية البشرية والتجزئة الفردية بشكل مشترك لكل مقترح. وقد طوّرنا شبكة عميقة متكررة منظومة (modular recurrent deep network) تستخدم تقدير الوضعية لتحسين التجزئة الفردية بشكل تكراري. تعتمد وحدات التحسين هذه على إشارات الوضعية على مستويين: كمُقدّم شكل خشن (coarse shape prior) وانتباه جزئي محلي (local part attention). وقد قمنا بتقييم منهجنا على مجموعتين عامتين لعدد متعدد من الأشخاص: مجموعة بيانات OCHuman ومجموعة بيانات COCOPersons. أظهرت النتائج أن الطريقة المقترحة تتفوّق على أفضل الطرق الحالية على مجموعة بيانات OCHuman بنسبة 3.0 نقطة في مقياس mAP، وعلى مجموعة بيانات COCOPersons بنسبة 6.4 نقطة في مقياس mAP، مما يُثبت فعالية النهج المقترح.