물의 소리: 액체를 부을 때 물리적 특성 추론하기

우리는 음향-시각적 관찰과 일상적인 그러나 흥미로운 활동인 액체를 부는 과정의 기본 물리학 사이의 연결을 연구합니다. 컨테이너에 액체가 부어지는 소리만 주어졌을 때, 우리의 목표는 액체 레벨, 컨테이너의 형태와 크기, 부는 속도 및 채우는 시간과 같은 물리적 특성을 자동으로 추론하는 것입니다. 이를 위해 우리는 다음과 같이 진행합니다: (i) 이론적으로 이러한 특성이 기본 주파수(피치)에서 결정될 수 있음을 보여줍니다; (ii) 시뮬레이션 데이터와 물리학적으로 영감을 받은 목적을 가진 시각적 데이터로부터 감독을 받아 피치 검출 모델을 학습시킵니다; (iii) 체계적인 연구를 위해 새로운 대규모 실제 부음 비디오 데이터셋을 소개합니다; (iv) 학습된 모델이 실제로 이러한 물리적 특성을 추론할 수 있음을 보여줍니다; 마지막으로, (v) 다양한 컨테이너 형태, 다른 데이터셋, 그리고 실시간 유튜브 비디오에 대한 강력한 일반화 능력을 입증합니다. 우리의 연구는 음향학, 물리학, 학습의 교차점에서 좁지만 풍부한 문제에 대한 깊은 이해를 제시하며, 로봇 부음 작업에서 다중 감각 인식을 향상시키는 응용 분야를 열어갑니다.