Lite Pose: تصميم هندسي فعال لتقدير وضعية الجسم البشري ثنائية الأبعاد

تقوم تقدير الوضعية بدور حاسم في تطبيقات الرؤية المتمحورة حول الإنسان.ومع ذلك، من الصعب نشر نماذج تقدير الوضعية المستندة إلى HRNet على أجهزة الحواف ذات الموارد المحدودة بسبب التكلفة الحسابية العالية (أكثر من 150 جيجا ماك لكل إطار). في هذا البحث، ندرس تصميم معمارية فعالة لتقدير وضعية متعدد الأشخاص في الوقت الفعلي على أجهزة الحواف. نكشف أن الفروع عالية الدقة في HRNet غير ضرورية للنماذج في المنطقة ذات الحسابات المنخفضة عبر تجاربنا التدريجية للتصغير. إزالتها تحسن الكفاءة والأداء. مستوحين من هذه النتيجة، صممنا LitePose، وهي معمارية فعالة ذات فرع واحد لتقدير الوضعية، وقمنا بتقديم طريقتين بسيطتين لتعزيز قدرة LitePose، وهما Fusion Deconv Head و Large Kernel Convs. يزيل Fusion Deconv Head الإضافات غير الضرورية في الفروع عالية الدقة، مما يسمح بالدمج الذكي للخصائص مع تكلفة منخفضة. تحسّن Large Kernel Convs بشكل كبير من قدرة النموذج ومجاله الاستقبالي بينما تحافظ على تكلفة حسابية منخفضة. بمجرد زيادة الحساب بنسبة 25٪ فقط، فإن المصفوفات 7x7 تحقق +14.0 mAP أفضل من المصفوفات 3x3 على مجموعة بيانات CrowdPose. على المنصات المحمولة، يقلل LitePose من زمن الاستجابة بنسبة تصل إلى 5.0x دون التضحية بالأداء، مقارنة بنماذج تقدير الوضعية الفعالة الأكثر حداثة سابقاً، مما يدفع حدود تقدير وضعية متعدد الأشخاص في الوقت الفعلي على أجهزة الحواف إلى الأمام. تم إطلاق شفرتنا المصدر والنماذج المدربة مسبقًا على https://github.com/mit-han-lab/litepose.