EV-Action: 전기근육신호-시각 다중모달 행동 데이터셋

다중 모달 인간 행동 분석은 중요한 연구 주제이자 매력적인 연구 영역입니다. 그러나 기존의 대부분 데이터셋은 시각적 모달리티(예: RGB, 깊이, 스켈레톤)만을 제공합니다. 이를 보완하기 위해 본 연구에서는 RGB, 깊이, 전기근육도(Electromyography, EMG), 그리고 두 가지 스켈레톤 모달리티로 구성된 새로운 대규모 EV-Action 데이터셋을 소개합니다. 기존 데이터셋과 비교하여 EV-Action 데이터셋은 두 가지 주요 개선점을 가지고 있습니다: (1) 고품질의 스켈레톤 모달리티를 얻기 위해 동작 캡처 시스템을 도입하였습니다. 이는 스켈레톤, 궤적, 가속도 등을 더 정확하고 높은 샘플링 주파수로 측정하며, 더 많은 스켈레톤 마커를 포함하여 더욱 포괄적인 운동 정보를 제공합니다. (2) 생체역학 분야에서 효과적인 지표로 사용되는 EMG 모달리티를 도입하였습니다. 그러나 아직까지 이 모달리티는 동작 관련 연구에서 충분히 탐구되지 않았습니다. 우리所知에 따르면, 이는 EMG 모달리티가 포함된 첫 번째 행동 데이터셋입니다.EV-Action 데이터셋의 세부 사항을 명확히 하며, EMG 기반 행동 인식을 위한 간단하면서도 효과적인 프레임워크를 제안합니다. 또한 최신 베이스라인 방법들을 적용하여 모든 모달리티의 유효성을 평가하였습니다. 얻어진 결과는 EMG 모달리티가 인간 행동 분석 작업에서 유효함을 명확히 보여줍니다. 우리는 이 데이터셋이 인간 운동 분석, 컴퓨터 비전, 머신러닝, 생체역학 등 다양한 학문 간 연구 분야에 중요한 기여를 할 수 있기를 바랍니다.注：在最后一句中，“我们所知”被翻译为“우리所知에 따르면”，这是为了保持句子的连贯性和正式性。但通常情况下，可以将其简化为“우리가 아는 한”。因此，最后一段也可以翻译为：EV-Action 데이터셋의 세부 사항을 명확히 하며, EMG 기반 행동 인식을 위한 간단하면서도 효과적인 프레임워크를 제안합니다. 또한 최신 베이스라인 방법들을 적용하여 모든 모달리티의 유효성을 평가하였습니다. 우리가 아는 한, 이는 EMG 모달리티가 포함된 첫 번째 행동 데이터셋입니다. 얻어진 결과는 EMG 모달리티가 인간 행동 분석 작업에서 유효함을 명확히 보여줍니다. 우리는 이 데이터셋이 인간 운동 분석, 컴퓨터 비전, 머신러닝, 생체역학 등 다양한 학문 간 연구 분야에 중요한 기여를 할 수 있기를 바랍니다.