MEEV: Körperschätzungen in egozentrischen Videos

Dieser technische Bericht stellt unsere Lösung MEEV vor, die im Rahmen der EgoBody-Challenge bei ECCV 2022 vorgeschlagen wurde. Die Daten wurden von Kopfmonturen aufgezeichnet und umfassen die Körperform und -bewegung interagierender Personen. Das EgoBody-Datenset weist Herausforderungen wie verdeckte Körper oder unscharfe Bilder auf. Um diese Herausforderungen zu bewältigen, ist MEEV so konzipiert, dass es mehrskalige Merkmale für reichhaltige räumliche Informationen nutzt. Darüber hinaus, um das Problem der begrenzten Datensatzgröße zu überwinden, wird das Modell mit einem aggregierten Datensatz vorab trainiert, der 2D- und 3D-Pose-Schätzdatensätze enthält. MEEV erzielte Werte von 82,30 für MPJPE (Mean Per Joint Position Error) und 92,93 für MPVPE (Mean Per Vertex Position Error), wodurch es die EgoBody-Challenge bei ECCV 2022 gewann. Dies zeigt die Effektivität der vorgeschlagenen Methode. Der Quellcode ist unter https://github.com/clovaai/meev verfügbar.