초록
3차원 컨볼루션 신경망(3D-CNN)을 사용하여 학습된 시공간 표현은 현재 행동 관련 작업에서 최신 접근 방식으로 활용되고 있습니다. 그러나 3D-CNN은 간단한 2D-CNN 구조에 비해 메모리와 계산 자원이 많이 소비되는 것으로 알려져 있습니다. 본 연구에서는 3D-CNN 교사 모델로부터 2D-CNN 학생 모델을 통해 시공간 표현을 환각(hallucinate)하는 방법을 제안합니다. 2D-CNN이 미래를 예측하고 다가오는 활동을 직관적으로 이해하도록 요구함으로써, 이는 행동과 그 변화에 대한 더 깊은 이해를 촉진합니다. 환각 작업은 보조 작업으로 취급되며, 다중 작업 학습 설정에서 다른 모든 행동 관련 작업과 함께 사용할 수 있습니다. 철저한 실험 평가 결과, 환각 작업이 행동 인식, 행동 품질 평가 및 동적 장면 인식 작업의 성능 향상에 실제로 도움이 됨이 확인되었습니다. 실용적인 측면에서 실제 3D-CNN 없이 시공간 표현을 환각할 수 있는 능력은 제한된 자원 상황, 예를 들어 계산 능력이 제한적이고/또는 대역폭이 낮은 경우에도 배포할 수 있게 해줍니다. 코드베이스는 다음 링크에서 제공됩니다: https://github.com/ParitoshParmar/HalluciNet.