Kann Ein Smartphone Auch Als Luftqualitätsmonitor Verwendet Werden? Ein Leitfaden Von Mehreren Ingenieurstudenten
Um das Problem der Luftqualitätserkennung zu lösen, hat ein Team des Indian Institute of Technology ein AQI-Schätzmodell in der Cloud trainiert. Durch das Aufnehmen von Fotos mit dem Mobiltelefon können sich Nutzer über die Luftqualität informieren und effektiv Informationen zum Smogwetter erhalten.
Geschrieben von Prerna Khanna et al., Indian Institute of Technology
Zusammenstellung | Little Walnut, Black Walnut Labor
Dieser Artikel darf vom offiziellen Konto reproduziert werden.Black Walnut Labor„ID: blackwanutlabs, danke an den Autor und Übersetzer!
Wussten Sie, dass es eine Hustenart namens „Smog-Husten“ gibt? Es gibt auch eine Farbe namens „Dunstfarbe“? Nachdem wir lange Zeit mit dem Smog zu kämpfen hatten, machen sich alle hilflos über die problematische Luftqualität lustig.
Neben Städten wie Peking, Lanzhou und Chengdu in China, die seit Jahren unter Luftverschmutzung leiden, sind auch ausländische Städte wie Delhi in Indien, Seoul in Südkorea und Chiang Mai in Thailand vor ernsthaften Problemen mit der Luftverschmutzung, insbesondere im Winter, gefeit.
Im Winter sind die Menschen aufgrund der Luftverschmutzung nicht nur in ihren Aktivitäten eingeschränkt, sondern leiden auch unter gesundheitlichen Problemen. Medienberichten zufolge sind weltweit 8,8 Millionen Menschen durch Luftverschmutzung gestorben.
Das weltweite Problem der Luftverschmutzung ist ernst und der erste Schritt zu seiner Lösung besteht darin, den Menschen die Überwachung der Qualität der Luft zu ermöglichen, die sie atmen.
Zwar lässt sich die Luftqualität mithilfe von Schadstoffsensoren überwachen, doch der großflächige Einsatz ist kostspielig. Ein Studententeam des Indian Institute of Technology hat eine zuverlässige und kostengünstige Lösung zur Beurteilung der Luftqualität entwickelt, die es den Menschen ermöglicht, diese mit ihren Smartphones zu überwachen.
PM 2,5-Schätzung mit mobilen Geräten
Echtzeitanalyse der Luftqualität anhand von Handyfotos
Frühere Studien haben gezeigt, dass maschinelles Lernen Kamerabilder effektiv zur Beurteilung der Luftqualität nutzen kann. Allerdings waren diese Studien in der Regel auf Bilder von einigen wenigen statischen Kameras beschränkt.
Ein Studententeam aus Indien möchte mithilfe von mit einem Mobiltelefon aufgenommenen Bildern lokale Luftqualitätsbewertungen in Echtzeit auf einer Android-basierten mobilen App bereitstellen.
Sie entschieden sich, PM 2,5 und Partikel mit kleinerem Durchmesser als Kriterien für die Beurteilung der Luftqualität festzulegen. Um die Ergebnisse zu visualisieren, wurden die PM 2,5-Vorhersagen in eine Farbverlaufstabelle des Luftqualitätsindex (AQI) übertragen. Dabei handelt es sich um eine von Regierungen auf der ganzen Welt vorgeschriebene Standardskala. Anschließend wird die entsprechende Verschmutzungswarnung entsprechend dem AQI-Wert angezeigt.
Vorhersage der Luftqualität mit TensorFlow Lite
Konkret sammelt die App Bilder von der Kamera des Telefons und Tensorflow Lite verarbeitet sie auf dem Gerät, um eine AQI-Vorhersage bereitzustellen. Vor der Entwicklung der App trainierten sie ein AQI-Schätzmodell in der Cloud. Das Modell kann mithilfe des Firebase ML Kit automatisch in Android-Anwendungen heruntergeladen werden.
Das System besteht aus folgenden Teilen:
1. Mobile Anwendung: Wird zum Aufnehmen von Bildern und Vorhersagen von AQI-Werten verwendet. Die Anwendung verarbeitet die Bilder auf dem Gerät.
2. TensorFlow Lite: wird verwendet, um Vorhersagen mithilfe des trainierten Modells zu treffen, und ist selbst eine sehr kleine Binärdatei (was für die Downloadgeschwindigkeit wichtig ist, wenn die Bandbreite begrenzt ist).
3. Firebase: Die aus dem Bild extrahierten Parameter (unten beschrieben) werden an Firebase gesendet. Für jeden neuen Benutzer wird bei der Verwendung der App eine eindeutige ID erstellt. Dies kann später verwendet werden, um Modelle für maschinelles Lernen für verschiedene geografische Standorte anzupassen.
4. Amazon EC2: Das Modell wurde auf Amazon EC2 unter Verwendung verschiedener Geolokalisierungsparameter und PM-Werte trainiert.
5. ML Kit: Das trainierte Modell wird auf ML Kit gehostet und automatisch auf das Gerät geladen und dann mit TensorFlow Lite ausgeführt.
Zwei Modelle
Sie trainierten zwei bildbasierte Modelle für maschinelles Lernen: eines, um den AQI anhand von Merkmalen von Benutzern hochgeladener Fotos vorherzusagen, und eines, um Bilder ohne Skylines herauszufiltern.
AQI-Modell
Basierend auf Benutzerfotos verwendeten sie die folgenden Merkmale, um den AQI vorherzusagen: Diese Merkmale wurden mithilfe herkömmlicher Bildverarbeitungstechniken extrahiert und durch ein lineares Modell kombiniert. Das zweite Modell (wird später besprochen) verwendet Bilder direkt.
Transmission: Beschreibt die Lichtmenge, die nach der Szenendämpfung und Reflexionen von Luftpartikeln in die Kamera des Telefons gelangt. Es kann durch diese Gleichung beschrieben werden:
Dabei ist I das beobachtete unscharfe Bild, t die Übertragung von der Szene zur Kamera, J die Strahlungsdichte der Szene und A der Luftfarbvektor.
Mithilfe des Konzepts des Dunkelkanals ermitteln wir die Übertragung eines einzelnen unscharfen Bildes, indem wir davon ausgehen, dass in allen Außenbildern in einem Farbkanal mindestens einige Pixel mit null oder sehr geringer Intensität vorhanden sind. Für das dunstfreie Bild J ist der Dunkelkanal:
wobei Jc einer der Farbkanäle von J und Ω(x) ein lokaler Patch mit Mittelpunkt x ist. Das Luftlicht kann anhand des Himmels oder des hellsten Bereichs geschätzt werden, daher kann die Übertragung folgendermaßen ermittelt werden:
Wobei Ic(y)/A das durch das Luftlicht A normalisierte unscharfe Bild ist und der zweite Term rechts der dunkle Kanal des normalisierten unscharfen Bildes ist.
Himmelsfarbe: Wenn der Himmel grau ist, betrachten wir es als einen Tag mit Luftverschmutzung. Die blaue Farbe kann mithilfe der RGB-Segmentierung geschätzt werden.
Farbverlauf des Himmels: Da der Himmel aufgrund einer Wolkendecke grau erscheinen kann, wurde diese Funktion integriert. Der Gradient wird berechnet, indem eine Maske des Himmelsbereichs erstellt und dann der Laplace-Operator dieses Bereichs berechnet wird.
Entropie, RMS-Kontrast: Diese Merkmale geben Aufschluss über die im Bild enthaltenen Details. Bei schlechtem Wetter gehen die Details des Bildes verloren. Der RMS-Kontrast wird als Standardabweichung der Bildpixelintensitäten definiert. Hier ist die Gleichung für den RMS-Kontrast:
wobei Iij die Helligkeit am (i, j) Pixel eines Bildes der Größe M×N ist und avg(I) die durchschnittliche Helligkeit aller Pixel im Bild ist. Daher ist das Kontrastverhältnis umgekehrt proportional zu PM 2,5. Zur Schätzung der Entropie wird die folgende Gleichung verwendet:
Dabei ist Pi die Wahrscheinlichkeit, dass die Intensität eines Pixels gleich i ist, und M die maximale Helligkeit des Bildes. Mit zunehmender PM-Konzentration gehen die Bilddetails allmählich verloren und die Bildentropie nimmt ab. Daher besteht eine umgekehrte Beziehung zu PM 2,5.
Luftfeuchtigkeit: Studien haben ergeben, dass die Verschmutzungswerte an feuchten Tagen steigen, da PM 2,5 Feuchtigkeit absorbiert und die Sicht verringert.
Skyline-Modell
Können Benutzer mit der App den AQI in ihrem Zimmer genauso vorhersagen, wie sie den AQI außerhalb ihres Hauses vorhersagt?
Das Modell kann ein Bild vorhersagen, wenn es mindestens 50 % der Skyline enthält, und akzeptiert das Skyline-Bild mithilfe eines binären Klassifikators.
Sie haben diesen Klassifikator mithilfe von Transfer Learning erstellt und das Modell mithilfe von TensorFlow Hub anhand ihres beschrifteten Datensatzes neu trainiert. Der Datensatz besteht aus zwei Klassen: 500 Bilder mit 50 % Skyline, 540 Bilder ohne Skyline (oder weniger als 50 % Skyline), einschließlich Räumen, Büros, Gärten, Szenen im Freien usw. Mithilfe der MobileNet 0.50-Architektur erreichten wir beim Testen an 100 ungesehenen Beispielen eine Genauigkeit von 95 %. Unter anderem bietet TF for Poets Unterstützung bei der Bildschulung.
Die Konfusionsmatrix des neu trainierten Modells lautet wie folgt:
Links: Bild mit Skyline größer als 50 %. Das Bild rechts hat eine Skyline von weniger als 50 %
Benutzerdefinierte Modelle
Da die Kameraspezifikationen jedes Smartphones unterschiedlich sind, benötigt jeder Benutzer ein individuelles Modell für maschinelles Lernen. Um ein solches Modell zu trainieren, sammelten sie Bilder von jedem Benutzer.
Sie entschieden sich, ein bildbasiertes Modell mit einem zeitlichen Modell unter Verwendung meteorologischer Parameter zu kombinieren. Durch die Verwendung zeitlicher Modelle meteorologischer Parameter lässt sich eine höhere Inferenzgenauigkeit erreichen und den Benutzern beim Trainieren bildbasierter Modelle für maschinelles Lernen einige Ergebnisse liefern. Dies hilft uns dabei, das Modell für bestimmte Benutzer anzupassen und so die Inferenzgenauigkeit durch die Reduzierung von Vorhersagefehlern zu verbessern.
Um für jeden Benutzer einen kleinen Trainingsdatensatz zu erstellen, extrahierten sie Merkmale aus 7 Bildern zum Training. Die Bilder müssen über einen Zeitraum von 7 aufeinanderfolgenden Tagen aufgenommen werden, wobei die Hälfte des Bildes den Himmel abdeckt und keine direkten Lichtquellen wie die Sonne vorhanden sein müssen. Nachdem Merkmale aus den Bildern extrahiert wurden, werden diese zum Trainieren eines Regressionsmodells verwendet. Das Modell ist linear, da alle Bildmerkmale mehr oder weniger linear proportional zu den PM 2,5-Werten sind.
Nachdem Sie den Trainingsdatensatz und das Modell erstellt haben, erstellen Sie einen zweiten Satz Bilder zum Testen. Nachdem der Datensatz 7 Tage lang unterschiedliche Bildmerkmale enthielt, begannen die Tests. Wenn der Trainings-RMSE weniger als 5 Tage beträgt, wird das Modell eingefroren und an ML Kit gesendet, das in der App heruntergeladen wird. Wenn der RMSE nicht weniger als 5 Tage beträgt, sammeln Sie weitere Trainingsdaten.
Beziehung zwischen Bildmerkmalen und PM 2,5
Meteorologische Parameter
Um die Inferenzgenauigkeit zu verbessern, verwendeten sie außerdem ein zeitliches Modell meteorologischer Daten, um den AQI auf Grundlage des historischen AQI aktueller Standorte vorherzusagen, und ergänzten das zeitliche Modell durch ein bildbasiertes Modell.
Das Team sammelte von 2015 bis 2017 einen meteorologischen Datensatz für Delhi von der Website der indischen Regierung und führte mithilfe der LASSO-Optimierung eine Ridge-Regression durch, um Schlüsselparameter auszuwählen, die die PM 2,5-Werte beeinflussen.
Als Schlüsselparameter wurden ausgewählt: PM 2,5-Konzentration in der letzten Stunde, Konzentrationen verschiedener Gase wie NO2, SO2, O3 und Taupunkt. Anschließend werden die Daten trainiert bzw. getestet. Die Genauigkeitsrate seines Datensatzes erreichte 90 %.
Das Liniendiagramm zeigt die RMS-Fehlerwerte der drei Modelle über einen Zeitraum von 21 Tagen.
Die nächste Herausforderung besteht darin, das adaptive bildbasierte Modell für jeden Benutzer zu hosten. Dazu verwendeten sie eine Lösung von Firebase ML Kit. Es ermöglicht das Hosten benutzerdefinierter und adaptiver ML-Modelle in der Cloud und auf Geräten.
Wie weit kann dieses einfache, aber wirksame System bei der Erkennung oder Kontrolle von Smog gehen? Freuen wir uns auf ihre tiefere Erforschung und Verbesserung!