NeuriCam: IoT 카메라를 위한 키 프레임 비디오 슈퍼 리졸루션 및 컬러화

우리는 저전력 듀얼 모드 IoT 카메라 시스템에서 비디오 캡처를 실현하기 위한 새로운 딥 러닝 기반 시스템인 NeuriCam을 소개합니다. 우리의 아이디어는 첫 번째 모드가 저전력(1.1 mW)이지만 그레이스케일, 저해상도, 그리고 노이즈가 많은 비디오만 출력하고, 두 번째 모드는 전력 소모량이 훨씬 높은(100 mW) 대신 컬러와 고해상도 이미지를 출력하는 듀얼 모드 카메라 시스템을 설계하는 것입니다. 전체 에너지 소비를 줄이기 위해, 고전력 모드를 1초에 한 번씩만 이미지를 출력하도록 중점적으로 작동시키고 있습니다. 이 카메라 시스템의 데이터는 무선으로 인근에 연결된 게이트웨이로 전송되며, 여기서 실시간 신경망 디코더를 실행하여 고해상도 컬러 비디오를 재구성합니다.이를 달성하기 위해, 우리는 각 공간 위치에서 피처 맵과 입력 프레임의 내용 간의 상관관계에 따라 다른 피처에 다른 가중치를 할당하는 주의 특징 필터 메커니즘을 도입하였습니다. 우리는 오프 더 쉘프 카메라를 사용하여 무선 하드웨어 프로토타입을 설계하였으며, 패킷 손실 및 관점 불일치 등의 실제 문제들을 해결하였습니다. 우리의 평가는 이 듀얼 카메라 접근법이 기존 시스템보다 에너지 소비량을 7배 줄였음을 보여주며, 또한 우리의 모델은 이전 단일 및 듀얼 카메라 비디오 초해상화 방법보다 평균 3.7 dB의 그레이스케일 PSNR 향상을 이루었으며, 이전 컬러 전파 방법보다 5.6 dB의 RGB 향상을 보였습니다. 오픈소스 코드: https://github.com/vb000/NeuriCam.