TransPose: التحديد الدقيق للنقاط الرئيسية من خلال المُحَوِّل

رغم التقدم المذهل الذي حققته النماذج القائمة على الشبكات العصبية التلافيفية (CNN) في تقدير وضعية الإنسان، لا يزال غير واضح ما هي الاعتماديات المكانية التي تُمكّنها من تحديد المواقع الرئيسية (keypoints). في هذه الدراسة، نقترح نموذجًا يُسمى \textbf{TransPose}، الذي يُدخل معمارية Transformer لتقدير وضعية الإنسان. تُمكّن طبقات الانتباه المُبنية في Transformer نموذجنا من التقاط العلاقات على مدى طويل بكفاءة، كما تُتيح لنا الكشف عن الاعتماديات التي تعتمد عليها المواقع الرئيسية المُتنبأ بها. لتقدير خرائط الحرارة الخاصة بالمواقع الرئيسية، تعمل آخر طبقة انتباه كمُجمّع، حيث تجمع المساهمات من المؤشرات المرئية وتشكل المواقع القصوى للمواقع الرئيسية. يتوافق هذا النهج القائم على خرائط الحرارة من خلال Transformer مع مبدأ تحسين التنشيط~\cite{erhan2009visualizing}. كما أن الاعتماديات المُكشفة تكون محددة للصورة ودقيقة التفاصيل، وتُقدّم أدلة حول كيفية تعامل النموذج مع الحالات الخاصة، مثل الازدحام أو التغطية الجزئية. أظهرت التجارب أن TransPose تحقق 75.8 AP و75.0 AP على مجموعتي التحقق والاختبار (test-dev) من مجموعة بيانات COCO، مع كونها أخف وزنًا وأسرع من الهياكل الرئيسية القائمة على الشبكات العصبية التلافيفية. كما يُظهر نموذج TransPose أداءً متميزًا في تطبيقه على معيار MPII، حيث يحقق أداءً متفوقًا على مجموعة الاختبار عند التكييف الدقيق (fine-tuning) بتكلفة تدريب صغيرة. تم إتاحة الكود والنماذج المُدرّبة مسبقًا للجمهور\footnote{\url{https://github.com/yangsenius/TransPose}}.