Hybride Neuronale Netze für Richtungshörung auf dem Gerät

Geräteintegrierte Richtungshörtechnologie erfordert die Trennung von Audioquellen aus einer bestimmten Richtung unter Einhaltung strenger Anforderungen an die für den Menschen nicht wahrnehmbare Latenz. Obwohl neuronale Netze eine deutlich bessere Leistung als traditionelle Beamformer erzielen können, sind alle bisherigen Modelle noch nicht in der Lage, kausale Inferenz mit geringer Latenz auf rechenkraftbeschränkten Tragbareinheiten zu unterstützen. Wir stellen DeepBeam vor, ein hybrides Modell, das traditionelle Beamformer mit einem speziell angefertigten leichten neuronalen Netz kombiniert. Die traditionellen Beamformer verringern die Rechenlast des neuronalen Netzes und verbessern auch dessen Anwendbarkeit auf verschiedene Szenarien, während das neuronale Netz entwickelt wurde, um den Speicher- und Rechenaufwand weiter zu reduzieren und so Echtzeit- und niedrig-Latenz-Betrieb zu ermöglichen. Unsere Evaluierung zeigt vergleichbare Leistungen mit den neuesten kausalen Inferenzmodellen bei synthetischen Daten, wobei das Modellumfang um den Faktor 5 reduziert wird, die pro Sekunde durchgeführten Berechnungen um den Faktor 4 und die Verarbeitungszeit ebenfalls um den Faktor 5. Zudem verallgemeinert es sich besser auf echte Hardware-Daten. Unser hybrides Echtzeitmodell läuft auf mobilen CPUs, die für energieeffiziente tragbare Geräte konzipiert wurden, in 8 ms und erreicht eine Gesamtlatenz von 17,5 ms.