일반적인 동작 인식은 주관적 영상 이해에 필수적이며, 사용자의 노력 없이 일상생활 활동(ADL)을 자동으로 지속적으로 모니터링할 수 있게 한다. 기존 연구는 계산량이 많고 불편한 깊이 추정 네트워크나 깊이 센서 착용이 필요하는 3차원 손 자세 입력에 주로 집중해 왔다. 반면, 단일 RGB 이미지를 캡처할 수 있는 사용자 친화적인 스마트 안경이 시장에 출시된 상황에서, 주관적 시점에서의 2차원 손 자세를 활용한 동작 인식에 대한 연구는 여전히 부족한 실정이다. 본 연구는 이러한 연구 공백을 메우기 위해 주관적 동작 인식을 위한 2차원 손 자세 추정 분야를 탐구하며, 두 가지 주요 기여를 한다. 첫째, 단일 손 자세 추정을 위한 EffHandNet과 주관적 시점에서 손과 물체 간의 상호작용을 효과적으로 포착할 수 있도록 설계된 EffHandEgoNet이라는 두 가지 새로운 2차원 손 자세 추정 방법을 제안한다. 이 두 모델은 H2O 및 FPHA 공개 벤치마크에서 최신 기술을 능가하는 성능을 보였다. 둘째, 2차원 손과 물체 자세로부터 강력한 동작 인식 아키텍처를 제시한다. 이 방법은 EffHandEgoNet과 트랜스포머 기반의 동작 인식 기법을 통합하여 구성된다. H2O 및 FPHA 데이터셋에서 평가한 결과, 본 아키텍처는 더 빠른 추론 속도를 보이며, 각각 91.32%와 94.43%의 정확도를 달성하여, 3차원 기반 방법을 포함한 기존 최고 수준의 기법들을 모두 상회했다. 본 연구는 2차원 뼈대 데이터를 활용하는 것이 주관적 동작 이해에 있어 강력한 접근법임을 입증한다. 광범위한 평가 및 아블레이션 연구를 통해 손 자세 추정 방법의 영향과 각 입력 요소가 전체 성능에 미치는 영향을 명확히 분석하였다.