Command Palette

Search for a command to run...

4달 전

SEFD: 복잡한 자세와 가림을 학습하는 다이스틸링

{SukJu Kang Geonho Cha Ho-Deok Jang Dongyoon Wee SungJun Min Kyeongbo Kong ChangHee Yang}

SEFD: 복잡한 자세와 가림을 학습하는 다이스틸링

초록

이 논문은 복잡한 자세와 가림 상황에서의 3차원(3D) 인간 메시 추정 문제를 다룬다. 두 차원(2D) 자세를 기반으로 한 3D 인간 메시 추정 기술은 인간 간의 가림 상황에 대해 많은 개선이 이루어졌지만, 복잡한 자세나 다른 객체에 의한 가림은 여전히 지속적인 문제로 남아 있다. 이를 해결하기 위해 본 연구는 기준 모델과 비교하여 파라미터 수를 증가시키지 않으면서도 복잡한 자세와 가림에 대해 강건한 성능을 보이는 새로운 기법인 Skinned Multi-Person Linear (SMPL) 엣지 특징 정제(Skinned Multi-Person Linear Edge Feature Distillation, SEFD)를 제안한다. 제안한 모델은 타겟 사람의 경계선과 가림 정보를 포함한 실제값과 유사한 SMPL 겹침 엣지맵을 생성하며, 이후 간단한 엣지맵 기반의 특징 정제를 수행한다. 또한 다양한 벤치마크에서 실험을 수행하여 정성적·정량적으로 높은 정확도를 입증하였다. 광범위한 실험 결과에 따르면, 도메인 갭이 존재하는 3DPW 데이터셋에서 기존 최고 성능 기법 대비 MPJPE 기준 2.8%, MPVPE 기준 1.9%의 성능 향상을 달성하였다. 또한 3DPW-OCC, 3DPW-PC, RH-Dataset, OCHuman, CrowdPose, LSP 데이터셋에서 가림, 복잡한 자세, 도메인 갭이 존재하는 상황에서도 본 방법이 우수한 성능을 보였다. 코드 및 가림과 복잡한 자세에 대한 주석 데이터는 https://anonymous.4open.science/r/SEFD-B7F8/ 에 공개될 예정이다.

벤치마크

벤치마크방법론지표
2d-human-pose-estimation-on-ochumanSEFD
Test AP: 44.1
3d-human-pose-estimation-on-3dpwSEFD
MPJPE: 77.37
MPVPE: 92.60
PA-MPJPE: 49.39
3d-human-pose-estimation-on-3dpwSEFD_GT
MPJPE: 64.75
MPVPE: 78.36
PA-MPJPE: 43.79

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
SEFD: 복잡한 자세와 가림을 학습하는 다이스틸링 | 연구 논문 | HyperAI초신경