Le Son de l'Eau : Inférence des Propriétés Physiques à Partir du Versage des Liquides

Nous étudions la connexion entre les observations audiovisuelles et la physique sous-jacente d'une activité quotidienne banale mais intrigante : le versement de liquides. À partir du seul son produit par le liquide lorsqu'il est versé dans un contenant, notre objectif est d'inférer automatiquement des propriétés physiques telles que le niveau du liquide, la forme et la taille du contenant, le débit de versement et le temps nécessaire pour remplir le contenant. Pour ce faire, nous :(i) démontrons théoriquement que ces propriétés peuvent être déterminées à partir de la fréquence fondamentale (la hauteur du son) ;(ii) entraînons un modèle de détection de la hauteur du son en utilisant des données simulées et visuelles avec un objectif inspiré par la physique ;(iii) introduisons un nouveau grand ensemble de données composé de vidéos réelles de versement pour une étude systématique ;(iv) montrons que le modèle entraîné peut effectivement inférer ces propriétés physiques à partir de données réelles ;(v) enfin, nous démontrons une forte généralisation à diverses formes de contenants, d'autres ensembles de données et à des vidéos YouTube non contrôlées.Notre travail présente une compréhension fine d'un problème spécifique mais riche se situant à l'intersection de l'acoustique, de la physique et de l'apprentissage. Il ouvre la voie à des applications visant à améliorer la perception multisensorielle dans le versement robotisé.