Heutzutage verfügen Smartphone-Kameras über Megapixel und liefern detailreiche Bilder. Dennoch können sie die chemische Zusammensetzung von Substanzen noch nicht so analysieren wie professionelle Spektrometer. Dies wäre beispielsweise nicht möglich, um den Zuckergehalt von Früchten zerstörungsfrei zu bestimmen, die Hautgesundheit zu beurteilen oder Spuren von Schadstoffen in der Umwelt nachzuweisen. Der Grund für diese Lücke liegt im Fehlen einer zentralen Komponente in Smartphones und anderen Geräten – einem Spektrometer –, das den einzigartigen „spektralen Fingerabdruck“ von Substanzen präzise erfassen kann.

Traditionelle Spektrometer sind ein wichtiges Werkzeug zur Materialanalyse.Das Funktionsprinzip besteht darin, zusammengesetztes Licht in Spektren unterschiedlicher Wellenlängen zu zerlegen und anschließend die Zusammensetzung von Substanzen anhand charakteristischer Spektrallinien zu bestimmen.Diese Instrumente basieren jedoch typischerweise auf dispersiven Elementen wie Gittern oder Prismen, die eine ausreichende optische Weglänge zur Trennung der Wellenlängen erfordern, was ihre Miniaturisierung grundlegend einschränkt. Selbst miniaturisierte Modelle weisen oft eine Größe von etwa 200 cm² auf. Angesichts der steigenden Nachfrage nach portablen Detektionsgeräten und tragbaren medizinischen Geräten ist die Entwicklung von Spektrometern, die hohe Leistung mit Chip-Größe kombinieren, zu einer dringenden technologischen Herausforderung geworden.

Hieraus ergibt sich ein entscheidender Widerspruch: Um eine Miniaturisierung zu erreichen, muss die traditionelle dispersive Struktur aufgegeben werden; aber wie lassen sich ohne eine dispersive Struktur spektrale Informationen gewinnen?

Um dieses Problem zu lösen,Ein Forschungsteam der University of California hat eine innovative Lösung vorgeschlagen.Auf der Oberfläche einer Standard-Silizium-Photodiode wurde eine spezielle Photonenfallenstruktur (PTST) entwickelt und ein hochgradig rauschunempfindliches, vollständig vernetztes neuronales Netzwerk integriert. Dieses Netzwerk kann das ursprüngliche Spektrum intelligent berechnen und direkt aus dem vom Bauelement gemessenen Photostromsignal rekonstruieren.Dieses Verfahren ermöglicht es dem Spektrometer nicht nur, ein höheres Signal-Rausch-Verhältnis bei längeren Wellenlängen zu erzielen, sondern seine Gesamtleistung übertrifft auch die von herkömmlichen siliziumbasierten Spektrometern.Dies stellt einen wichtigen Fortschritt in der KI-gestützten Spektralsensorik dar und ermöglicht es kompakter Hardware, die hohe spektrale Genauigkeit zu erreichen, die bisher nur mit großen Systemen möglich war.

Die zugehörigen Forschungsergebnisse mit dem Titel „KI-gestütztes Photonenfallen-Spektrometer auf einem Chip auf Siliziumplattform mit erweiterter Nahinfrarot-Empfindlichkeit“ wurden in Advanced Photonics veröffentlicht.

Forschungshighlights:

* Diese Forschung verwendet ein rauschresistentes, vollständig vernetztes neuronales Netzwerk, um das inverse Problem der Spektralrekonstruktion zu lösen. Dadurch kann eine kompakte Hardware mit nur 16-32 Fotodioden die hohe spektrale Wiedergabetreue erreichen, die typischerweise von großen, traditionellen Systemen benötigt wird.

* Diese Forschung, kombiniert mit intelligenter Rekonstruktion mittels Deep Learning, verbesserte das Signal-Rausch-Verhältnis des Systems im langwelligen Bereich um über 30 dB und durchbrach damit die Nachweisgrenze von 950 nm herkömmlicher siliziumbasierter Spektrometer.

Das in dieser Studie entwickelte integrierte System zeichnet sich durch eine extrem geringe Größe von 0,4 mm², eine ultraschnelle Ansprechzeit von 57 ps, eine hohe Verstärkung von >7000 und eine Störfestigkeit von 40 dB aus. Sein praktischer Nutzen wurde durch hyperspektrale Bildgebung von Schmetterlingen nachgewiesen.

Papieradresse:
https://doi.org/10.1117/1.AP.8.1.016008
Folgen Sie unserem offiziellen WeChat-Konto und antworten Sie im Hintergrund mit „PTST“, um das vollständige PDF zu erhalten.

Weitere Artikel zu den Grenzen der KI: 

https://hyper.ai/papers

Für die Rekonstruktion wurden 16 verschiedene Photonenfallen-Oberflächenstrukturen verwendet, wobei der Fokus auf dem Bereich von 640-1000 nm lag.

Um die tatsächliche Leistungsfähigkeit des entwickelten On-Chip-Spektrometers in der Hyperspektralbildgebung zu überprüfen, wählte diese Studie den öffentlich verfügbaren hyperspektralen Datensatz von Schmetterlingen als Testobjekt.Dieser Datensatz deckt einen Wellenlängenbereich von 420-1000 nm ab und enthält 59 Spektralkanäle (Spektralabstand von 10 nm).Es wird in Form eines Würfels dreidimensionaler hyperspektraler Bilder mit einer räumlichen Auflösung von 512×512 Pixeln bereitgestellt.

Da die externe Quanteneffizienz der experimentell hergestellten Bauelemente hauptsächlich im Bereich von 640–1000 nm innerhalb des Datenerfassungsbereichs konzentriert ist, wurden in dieser Studie die spektralen Empfindlichkeiten von 16 Photodioden mit unterschiedlichen Photonenfallen-Oberflächenstrukturen (PTSTs) in diesem Wellenlängenbereich für die Rekonstruktion verwendet. Zunächst wurde der ursprüngliche Datensatz auf 361 Wellenlängenpunkte im Abstand von 1 nm innerhalb des Bereichs von 640–1000 nm interpoliert und anschließend mit den simulierten spektralen Empfindlichkeiten der Photodioden kombiniert, um entsprechende Photostromdaten zu generieren. Schließlich wurden die Daten in ein trainiertes neuronales Netzwerkmodell eingespeist, um das hyperspektrale Bild zu rekonstruieren.

In der Trainingsphase des Netzwerks wurde ein synthetischer Datensatz mit über 500.000 Gauß-Spektren unterschiedlicher Spitzenwerte und Breiten verwendet. Die Modellleistung wurde anhand unabhängiger Validierungsdatensätze evaluiert. Wie die Abbildung unten zeigt, stellten die Forscher fest, dass die auf Basis der experimentellen spektralen Empfindlichkeit von 16 Photodioden im Nahinfrarotbereich von 640–1100 nm rekonstruierten hyperspektralen Bilder visuell sehr gut mit den tatsächlichen Daten übereinstimmten.

Zur weiteren Quantifizierung der Auswertung wurden in dieser Studie zwei repräsentative Pixel aus dem Bild ausgewählt (siehe Abbildung oben, markiert mit roten bzw. blauen Kästchen) für einen spektralen Vergleich. Wie in der Abbildung unten dargestellt…Das rekonstruierte Spektrum stimmt gut mit dem tatsächlichen Spektrum überein und erfasst präzise die Veränderungen der Reflexionseigenschaften der Schmetterlingspigmente im Infrarotbereich.

Entwicklung eines KI-gestützten On-Chip-Spektrometers zur Photonenerfassung

In dieser Studie bildet ein speziell entwickeltes, vollständig vernetztes neuronales Netzwerk den Kern der Spektralrekonstruktion. Es hat die Aufgabe, das unbekannte einfallende Spektrum aus dem vom Photodiodenarray gemessenen Photostromsignal abzuleiten. Dies entspricht im Wesentlichen der Lösung eines inversen Problems: Aufgrund der Überlappung der spektralen Detektorantworten wird die Systemantwortmatrix schlecht konditioniert, wodurch herkömmliche direkte Inversionsmethoden instabil und rauschempfindlich werden. Neuronale Netze hingegen können lernen, eine robuste Abbildung vom Messsignal auf das ursprüngliche Spektrum zu erstellen und verfügen dabei über natürliche Rauschunterdrückungs- und Regularisierungsfähigkeiten.

Die Netzwerkarchitektur besteht aus einer Eingabeschicht, vier verborgenen Schichten und einer Ausgabeschicht.Die Eingangsschicht empfängt Fotostromsignale von 16 Fotodioden.Die Ausgabeschicht gibt die rekonstruierten Spektraldaten direkt aus. Die verborgenen Schichten verwenden die ReLU-Aktivierungsfunktion, um Nichtlinearität einzuführen, während die Ausgabeschicht eine lineare Aktivierungsfunktion nutzt. Die Netzwerkgröße (Anzahl der Neuronen) wurde speziell anhand der Komplexität der Spektraldaten optimiert.Für das Training wurde ein großer synthetischer Datensatz mit über 500.000 simulierten Spektren verwendet.Diese Spektren setzen sich aus Gauß-Kurven mit unterschiedlichen Spitzen und Breiten zusammen, um sicherzustellen, dass das Modell ein breites Spektrum an spektralen Morphologien erlernen kann.

Für die Trainingsstrategie verwendeten die Forscher den Adam-Optimierer, implementiert auf Basis des PyTorch-Frameworks. Nach dem Testen verschiedener Verlustfunktionen wurde schließlich eine benutzerdefinierte kombinierte Verlustfunktion ausgewählt, die den mittleren quadratischen Fehler (RMSE) und den Pearson-Korrelationskoeffizienten (R) kombiniert. Diese Funktion erwies sich als besonders effektiv bei der Rekonstruktion schmalbandiger Spektren mit scharfen Peaks. Die Batchgröße für das Training wurde auf 32 und die Lernrate auf 0,001 festgelegt.Die Forscher trainierten das Modell über 1.000 Epochen und reduzierten dann nach der 600. Epoche die Lernrate auf 0,0001, um eine bessere Konvergenz des Modells zu fördern.Um Überanpassung zu vermeiden, wurde während des Trainings Early Stopping eingesetzt. Wie die Abbildung unten zeigt, sanken sowohl die Trainings- als auch die Validierungsverluste rasch und konvergierten schließlich, was darauf hindeutet, dass das Modell gut gelernt hat und über eine starke Generalisierungsfähigkeit verfügt.

Um die Leistungsfähigkeit dieses neuronalen Netzes zu überprüfen, verglichen die Forscher es mit zwei herkömmlichen Rekonstruktionsmethoden. Wie die Abbildung unten zeigt, schnitten sowohl die einfache Pseudo-Inversionsmethode als auch die Methode der Linearkombination von Basisfunktionen (wie Gauß- oder Sinusfunktionen) für das Spektrum bei der Rekonstruktion schmalbandiger Laserspektren schlecht ab, mit einem RMSE von etwa 0,12 und einem Korrelationskoeffizienten R von etwa 0,63.

Im Gegensatz dazu sind neuronale Netze in der Lage, scharfe spektrale Merkmale präzise zu erfassen.Der RMSE-Wert wurde signifikant auf 0,046 reduziert, und der Korrelationskoeffizient R erhöhte sich auf 0,87.Dieses Ergebnis belegt eindeutig die Überlegenheit neuronaler Netze bei der Lösung solcher inverser Probleme. Sie erzielen nicht nur eine höhere Rekonstruktionsgenauigkeit, sondern sind aufgrund ihrer inhärenten Lerneigenschaften auch robuster gegenüber Störungen.

Auf 0,4 mm² wurde eine spektrale Auflösung von 8 Nanometern erreicht.

Um die Leistungsfähigkeit des KI-gestützten On-Chip-Spektrometers vollständig zu überprüfen, wurden in dieser Studie eine Reihe von Experimenten durchgeführt, wobei der Schwerpunkt auf der Bewertung der zentralen Rolle des neuronalen Netzwerkmodells bei der Spektralrekonstruktion und seiner tatsächlichen Leistungsfähigkeit lag.

Zunächst testeten die Forscher die Kernfunktionen des Systems zur Detektion mithilfe von Schmalbandlasern. Experimente zeigten, dass die Photodioden mit integrierten Photonenfallen-Oberflächenstrukturen eine deutlich verbesserte Empfindlichkeit und ein besseres Signal-Rausch-Verhältnis im Wellenlängenbereich von 640–1100 nm aufwiesen, insbesondere im langwelligen Nahinfrarotbereich. Entscheidend war, dass das System durch die Eingabe der Messwerte dieser Detektorarrays in ein trainiertes neuronales Netzwerk das Laserspektrum präzise rekonstruieren konnte.Wenn die Anzahl der an der Rekonstruktion beteiligten Detektoren auf mehr als 16 steigt, sinkt der mittlere Fehler zwischen dem rekonstruierten Spektrum und dem Referenzwert auf unter 0,05, und der Korrelationskoeffizient übersteigt 0,85.Dies bestätigt, dass die einzigartige spektrale Codierung der Hardware und die analytischen Fähigkeiten des KI-Algorithmus effektiv zusammenarbeiten können, um hochpräzise Messungen zu erzielen.

Die Robustheit gegenüber Rauschen ist entscheidend für die Bewertung der Leistungsfähigkeit von Rekonstruktionsalgorithmen. Diese Studie untersucht die Robustheit des Systems, indem realen Messdaten aktiv simuliertes Rauschen hoher Intensität hinzugefügt wird. Die Ergebnisse zeigen, dass das neuronale Netzwerkmodell selbst bei zusätzlichem Rauschen von bis zu 40 dB noch ein erkennbares Spektralprofil stabil rekonstruieren und dabei ein Signal-Rausch-Verhältnis von etwa 30 dB aufrechterhalten kann. Dies steht im deutlichen Gegensatz zu herkömmlichen Methoden, deren Leistung unter Rauschen drastisch abnimmt.Dies unterstreicht die leistungsstarken, dem verwendeten neuronalen Netzwerk innewohnenden Regularisierungs- und Rauschunterdrückungsfähigkeiten.Dies ist der Schlüssel zur Realisierung seines praktischen Anwendungswerts.

Um das Potenzial des Systems zur Lösung komplexer Probleme weiter zu demonstrieren, wurde es in der Forschung auf eine hyperspektrale Bildgebungsaufgabe angewendet. Mithilfe eines trainierten neuronalen Netzes rekonstruierte das System erfolgreich einen 512×512 Pixel großen hyperspektralen Bildwürfel aus dem Open-Source-Datensatz „Butterfly“ unter Verwendung lediglich der Messwerte von 16 Detektoren. Abschließend bewerteten die Forscher die Gesamtgenauigkeit der Rekonstruktion quantitativ anhand des mittleren quadratischen Fehlers (MSE) und des Strukturähnlichkeitsindex (SSIM). Über alle Rekonstruktionswellenlängen hinweg lag der durchschnittliche MSE bei lediglich 2,3×10⁻⁴ und der durchschnittliche SSIM bei bis zu 0,9926.Dies beweist, dass das System eine extrem hohe spektrale Wiedergabetreue besitzt und zeigt, dass KI komplexe hochdimensionale spektrale räumliche Informationen aus minimalen Hardwareinformationen dekodieren und rekonstruieren kann.Es hat den Sprung vom „Punktspektrum“ zur „Spektralbildgebung“ vollzogen.

Letztendlich erreichte dieses KI-gestützte Spektrometer eine spektrale Auflösung von 8 Nanometern, einen Dynamikbereich von 50 dB und ein praktisches Signal-Rausch-Verhältnis von 30 dB auf Chip-Ebene (0,4 mm²). Vergleiche zeigen, dass dieses System, das intelligente Algorithmen und fortschrittliche Photonik-Hardware kombiniert, die meisten vergleichbaren miniaturisierten Lösungen in der Gesamtleistung übertrifft und damit einen wichtigen Schritt hin zur praktischen Anwendung intelligenter Spektralsensorik darstellt.

Miniaturisierte Spektralsensorik: Gegenwart und Zukunft

Miniaturisierung und intelligente Spektralsensorik rücken immer mehr in den Fokus globaler wissenschaftlicher Forschung und industrieller Innovationen. In den letzten Jahren haben zahlreiche innovative Projekte – von der Grundlagenforschung an Spitzenuniversitäten bis hin zur Anwendungsentwicklung durch Technologieunternehmen – deutlich gezeigt, dass die Integration von Spektralanalyse-Funktionen auf Laborniveau in Chips und sogar Alltagsgeräte rasant voranschreitet.

In der akademischen Forschung liegt der Fokus auf der grundlegenden Neugestaltung von Spektrometern durch innovative photonische Chipdesigns und eine intensive Zusammenarbeit mit künstlicher Intelligenz.Ein Forschungsteam der Seoul National University in Südkorea hat in Nature Communications ein neues Schema vorgeschlagen.Durch die Verwendung von aus Plasma-Nanopartikeln bestehenden Mikrohohlräumen als Filterarrays und deren Kombination mit Algorithmen des maschinellen Lernens wurde eine spektrale Auflösung im Subnanometerbereich im Mikrometerbereich erreicht.
Titel des Papiers:Miniaturisiertes computergestütztes Spektrometer mit einem plasmonischen Nanopartikel-in-Resonator-Mikrofilterarray
Link zum Artikel:https://www.nature.com/articles/s41467-024-47487-y

gleichzeitig,Wissenschaftler der Eidgenössischen Technischen Hochschule Lausanne (EPFL) näherten sich dem Problem aus einem anderen entscheidenden Blickwinkel der Systemintegration.Ein leistungsstarker, präzise abstimmbarer Erbium-dotierter Wellenleiterlaser wurde erfolgreich auf einem Chip gefertigt. Dieser in Nature Photonics veröffentlichte Durchbruch bedeutet, dass zukünftige integrierte Spektroskopiesysteme mit einer stabilen und qualitativ hochwertigen Lichtquelle auf dem Chip rechnen können und stellt damit einen wichtigen Schritt hin zum Aufbau eines kompletten „Labors auf einem Chip“ dar.
Titel des Papiers:Ein vollständig hybrid integrierter Erbium-basierter Laser
Link zum Artikel:https://www.nature.com/articles/s41566-024-01454-7

Die Innovation in der Branche ist stärker marktorientiert und konzentriert sich darauf, Spitzentechnologien in Produkte und Lösungen umzusetzen, die reale Probleme angehen.Das tschechische Start-up-Unternehmen Iron Analytics brachte 2025 das weltweit erste tragbare Mößbauer-Spektrometer auf den Markt.Die revolutionäre Natur dieser Technologie liegt darin, dass sie das ursprüngliche, 15 Kilogramm schwere und 70 Zentimeter lange Laborgerät erfolgreich in ein tragbares Gerät von der Größe einer Coca-Cola-Dose miniaturisiert hat. Dies zeigt, dass die miniaturisierte Spektroskopietechnologie von einem reinen Konsumartikel tief in zentrale Industriebereiche vordringt und zu einer echten Produktivitätskraft für die Steigerung der Produktionseffizienz und die Prozesskontrolle wird.

Zusammenfassend lässt sich sagen, dass die Vision miniaturisierter und intelligenter Spektralsensorik mit jedem neuen technologischen Puzzleteil schrittweise Realität wird. Die tatsächliche Integration in den Alltag steht jedoch weiterhin vor praktischen Herausforderungen wie Kosten, Zuverlässigkeit und einfacher Dateninterpretation. Vielleicht wird unsere Wahrnehmung der Welt in nicht allzu ferner Zukunft, wenn Spektralsensormodule wie heutige Kameras kostengünstig und zuverlässig in Serie gefertigt werden können, eine stille, aber tiefgreifende Revolution erfahren. Dann wird der „optische Fingerabdruck“, der alles interpretiert, nicht länger ausschließlich Laboren vorbehalten sein, sondern zu einem weiteren Instinkt werden, der uns hilft, unsere Umgebung zu verstehen.