ClickDiff: 클릭을 통한 확산 모델을 이용한 제어 가능한 그립 생성을 위한 의미적 접촉 맵 유도

그립 생성의 목표는 지정된 객체와 복잡한 손-객체 상호작용을 생성하는 것입니다. 전통적인 손 생성 방법은 주로 장면 제약 조건 하에서 가시성과 다양성을 중점적으로 다루었지만, 접촉과 같은 미세한 손-객체 상호작용을 간과하여 부정확하고 원하지 않는 그립을 생성하는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 제어 가능한 그립 생성 작업을 제안하며 ClickDiff라는 제어 가능한 조건부 생성 모델을 소개합니다. 이 모델은 미세한 Semantic Contact Map(SCM)을 활용합니다. 특히 상호작용적인 그립을 합성할 때, 이 방법은 사용자가 지정하거나 알고리즘으로 예측된 Semantic Contact Map을 통해 그립 합성을 정밀하게 제어할 수 있게 합니다. 접촉 감독 제약 조건을 최적화하여 활용하고, 손의 복잡한 물리 구조를 정확히 모델링하기 위해 Dual Generation Framework를 제안합니다. 이 프레임워크 내에서 Semantic Conditional Module은 미세한 접촉 정보를 기반으로 합리적인 접촉 맵을 생성하며, Contact Conditional Module은 객체 포인트 클라우드와 함께 접촉 맵을 활용하여 실제적인 그립을 생성합니다. 우리는 제어 가능한 그립 생성에 적용 가능한 평가 기준들을 검토하였습니다. GRAB 및 ARCTIC 데이터셋에서 단일손과 양손 그립 생성 실험 결과, 우리의 제안 방법이 유효함을 확인하였으며, ClickDiff가 이전에 본 적 없는 객체에서도 효과적이고 안정적인 성능을 보임을 입증하였습니다. 우리의 코드는 https://github.com/adventurer-w/ClickDiff에서 제공됩니다.