Command Palette
Search for a command to run...
Das Geräusch von Wasser: Ableitung physikalischer Eigenschaften aus flüssigen Strömen
Das Geräusch von Wasser: Ableitung physikalischer Eigenschaften aus flüssigen Strömen
Piyush Bagad Makarand Tapaswi Cees G. M. Snoek Andrew Zisserman
Zusammenfassung
Wir untersuchen den Zusammenhang zwischen audiovisuellen Beobachtungen und der zugrunde liegenden Physik einer alltäglichen, aber faszinierenden Aktivität: dem Einfüllen von Flüssigkeiten. Unser Ziel ist es, bei gegebenem Ton eines Flüssigkeitsflusses in ein Gefäß physikalische Eigenschaften wie den Flüssigkeitsspiegel, die Form und Größe des Gefäßes, die Eintrichterrate und die Füllzeit automatisch zu bestimmen. Dazu:(i) zeigen wir theoretisch, dass diese Eigenschaften aus der Grundfrequenz (Tonhöhe) abgeleitet werden können;(ii) trainieren wir ein Modell zur Tonhöherentdeckung mit überwachten simulierten Daten und visuellen Daten unter Verwendung eines physikinspirierten Ziels;(iii) stellen wir einen neuen umfangreichen Datensatz mit realen Einfüllvideos vor, um eine systematische Untersuchung durchzuführen;(iv) beweisen wir, dass das trainierte Modell tatsächlich diese physikalischen Eigenschaften für reale Daten ableiten kann; und schließlich,(v) demonstrieren wir eine starke Generalisierungsfähigkeit für verschiedene Gefäßformen, andere Datensätze und Freigeist-Videos auf YouTube.Unsere Arbeit bietet ein tiefgründiges Verständnis eines spezifischen, aber reichhaltigen Problems an der Schnittstelle von Akustik, Physik und Lernen. Sie eröffnet Anwendungen zur Verbesserung der multiseensorischen Wahrnehmung beim robotergesteuerten Einfüllen von Flüssigkeiten.