Neuromorphes Bildgebungssystem durchdringt Nebel

Forscher der Brown University School of Engineering haben ein neuromorphes Bildgebungssystem entwickelt, das in der Lage ist, bewegte Objekte durch dichten Nebel oder trübe Flüssigkeiten zu erkennen und zu verfolgen. Die Studie, die im Fachjournal Advanced Science veröffentlicht wurde, kombiniert einen dynamischen Vision-Sensor mit einem nach dem Gehirn gestalteten Spiking-Neural-Network-Modell. Im Gegensatz zu herkömmlichen Kameras, die vollständige Frames aufnehmen, registriert der eingesetzte Sensor ausschließlich Helligkeitsänderungen an einzelnen Pixeln. Diese ereignisbasierte Erfassung reagiert stark auf sich bewegende Ziele, ignoriert dabei aber die deutlich langsameren Streuungen des umgebenden Mediums wie Nebel oder Schmutzwasser. Die von den Sensordaten angestoßenen asynchronen neuronalen Impulse werden anschließend von einer tiefen Spiking-Neural-Network-Architektur verarbeitet, die funktional dem visuellen Kortex des menschlichen Gehirns nachempfunden ist. Dieses Modell rekonstruiert die verborgenen Strukturen und ermittelt gleichzeitig die Flugbahnen der Objekte in Bruchteilen einer Sekunde. In Laborversuchen mit bewegten alphanumerischen Zeichen und Vogelsilhouetten in einer Nebelkammer bzw. trübem Wasser erreichte das System eine strukturelle Ähnlichkeit von bis zu 96 Prozent zu den originalen Zielen, während konventionelle Kameras und das menschliche Auge in ähnlichen Szenarien versagten. Das System nutzt zudem das für das menschliche Auge unsichtbare Nahinfrarotlicht, was die Erkennung weiter verbessert. Ein wesentlicher Vorteil des Ansatzes ist seine hohe Energieeffizienz. Der Vision-Sensor verbraucht lediglich einige zehn Milliwatt, und das neuromorphe Netzwerk berechnet ausschließlich auf Basis der sparsamen Impulsströme, was den Energiebedarf im Vergleich zu herkömmlichen tiefen neuronalen Netzen drastisch reduziert. Die Architektur orientiert sich dabei direkt an der biologischen Retina, die visuelle Informationen primär durch Erkennung von Kanten, Bewegung und Helligkeitswechseln verarbeitet. Trotz der vielversprechenden Ergebnisse bestehen aktuelle technische Grenzen. Da der Sensor ausschließlich auf Veränderungen reagiert, müssen sich Objekte relativ zur Kamera bewegen, um erfasst zu werden. Zudem liefert das System derzeit nur Umrissdarstellungen statt vollständiger Graustufenbilder und verliert bei sehr geringen Lichtverhältnissen an Empfindlichkeit. Das Forscherteam um Postdoktorand Ning Zhang und Studienleiter Professor Arto Nurmikko arbeitet bereits an einer Vorverstärker-Optik sowie an Tiefenwahrnehmungsverfahren, die auf Laufzeitmessungen oder der Stereokopplung zweier Event-Kameras basieren. Damit soll die Methode schrittweise auf dreidimensionale Zielstrukturen ausgedehnt werden. Die praktische Relevanz des Systems erstreckt sich auf zahlreiche Anwendungsbereiche, in denen Lichtstreuung durch Medien die visuelle Wahrnehmung stark beeinträchtigt. Autonomes Fahren, drohnenbasierte Such- und Rettungseinsätze bei Sturm oder Waldbränden, die Unterwassernavigation sowie medizinische Bildgebung profitieren potenziell von der Fähigkeit, Ziele in stark streuenden Umgebungen schnell und präzise zu lokalisieren. Ziel der Forscher ist es, die Grenzen der visuellen Wahrnehmung technisch zu erweitern, um Sicherheit, Gesundheitsversorgung und autonome Systeme nachhaltig zu verbessern.