TinyTracker: 초고속 및 초저전력 엣지 비전 인센서를 통한 시선 추정

지능형 엣지 비전 작업은 엣지 플랫폼에 일반적으로 부담되는 무거운 계산 부하로 인해 전력 및 지연 시간 효율을 보장하는 데 핵심적인 도전 과제에 직면해 있다. 본 연구는 소니(Sony)의 초기 '센서 내 AI' 비전 플랫폼 중 하나인 IMX500을 활용하여 초고속·초저전력 엣지 비전 응용 프로그램을 실현한다. 본 연구에서는 시선 추정(gaze estimation)을 사례로 삼아 IMX500을 다른 엣지 플랫폼인 Google Coral Dev Micro 및 소니 Spresense와 비교 평가한다. 본 연구는 고도로 효율적인 완전 양자화 모델인 TinyTracker를 제안한다. 이 모델은 본 연구에서 고려된 엣지 비전 시스템의 성능을 극대화하기 위해 2D 시선 추정을 위한 설계가 되었으며, iTracker [1]에 비해 모델 크기를 41배 작게 줄여 600KB로 축소하면서도 시선 추정 정확도 손실이 거의 없이(완전 양자화 시 최대 0.16cm의 오차) 유지한다. 소니 IMX500 비전 센서에 TinyTracker를 배포하면 엔드투엔드 지연 시간은 약 19ms를 기록한다. 카메라가 픽셀을 읽고 처리하여 가속기로 전송하는 데 약 17.9ms가 소요되며, 네트워크 추론 시간은 0.86ms이며, 센서로부터 결과를 가져오는 데 추가로 0.24ms가 소요된다. 엔드투엔드 시스템의 전체 에너지 소비는 4.9mJ이며, 이 중 추론에 소요되는 에너지는 0.06mJ에 불과하다. 엔드투엔드 실험 결과, IMX500은 CoralMicro보다 1.7배 빠르며(19ms 대 34.4ms), 전력 효율은 7배 뛰어나다(4.9mJ 대 34.2mJ).