Command Palette
Search for a command to run...
OpenPifPaf: حقول مركبة للكشف عن النقاط الرئيسية الدلالية وربطها في الزمان والمكان
OpenPifPaf: حقول مركبة للكشف عن النقاط الرئيسية الدلالية وربطها في الزمان والمكان
Sven Kreiss Lorenzo Bertoni Alexandre Alahi
الملخص
يمكن صياغة العديد من المهام المستندة إلى الصور كاكتشاف، وربط، وتتبع النقاط الرئيسية الدلالية، مثل تقدير وضع الجسم البشري وتتبعه. في هذا العمل، نقدم إطارًا عامًا يكتشف ويكون روابط مكانيّة زمنية للنقاط الرئيسية في مرحلة واحدة فقط، مما يجعل هذه الخوارزمية أول خوارزمية للكشف عن الوضع وتتبعه في الوقت الحقيقي. نقدم هندسة عامة لشبكة عصبية تستخدم الحقول المركبة لاكتشاف وبناء وضع مكانيّ زمني هو رسم بياني متصل واحد تتكون عقده من النقاط الرئيسية الدلالية (مثل مفاصل جسم الشخص) في عدة إطارات. بالنسبة للروابط الزمنية، نقدم حقل الارتباط المركب الزمني (TCAF) الذي يتطلب هيكل شبكة معززة وطريقة تدريب تتجاوز الحقول المركبة السابقة. تظهر تجاربنا دقة تنافسية بينما تكون أسرع بمقدار عامل على عدة قواعد بيانات متاحة للجمهور مثل COCO وCrowdPose وقواعد بيانات PoseTrack 2017 و2018. كما نظهر أن طريقتنا يمكن تعميمها على أي فئة من النقاط الرئيسية الدلالية مثل أجزاء السيارات والحيوانات لتوفير إطار شامل للمعرفة يناسب التنقل الحضري مثل السيارات ذاتية القيادة وروبوتات التوصيل.