Laut Statistiken der Weltgesundheitsorganisation gibt es weltweit 2,2 Milliarden Menschen mit Sehbehinderung, darunter 285 Millionen Sehbehinderte und 39 Millionen völlig Blinde. Darüber hinaus wird diese Zahl aufgrund der Alterung der Bevölkerung weiter steigen.
Obwohl sehbehinderte Menschen mit vielen Unannehmlichkeiten konfrontiert sind, sind die Hilfsmittel für sie mit Problemen wie hohen Kosten, schwieriger Wartung und komplexer Bedienung verbunden, was es schwierig macht, ihren Lebensbedürfnissen gerecht zu werden.
Zu diesem Zweck haben Forscher der Guangdong Polytechnic Normal University und der Wuhan University of Science and Technology gemeinsam eine Reihe von Assistenzgeräten für Sehbehinderte entwickelt, die auf dem intelligenten Internet der Dinge basieren und das Leben von Sehbehinderten durch KI-Algorithmen und Sensoren angenehmer machen.

Autor | Xuecai

Herausgeber | Drei Schafe, Eisenturm

Dieser Artikel wurde zuerst auf der öffentlichen HyperAI WeChat-Plattform veröffentlicht~

Im Jahr 2019 veröffentlichte die Weltgesundheitsorganisation (WHO) den ersten „Weltbericht zum Sehen“. In dem Bericht heißt es:Weltweit gibt es mindestens 2,2 Milliarden sehbehinderte Menschen, davon sind 285 Millionen sehbehindert und 39 Millionen völlig blind.. Aufgrund des weltweiten Bevölkerungswachstums und der Alterung könnte sich die Zahl sehbehinderter Menschen bis 2040 verdreifachen.

Abbildung 1:Geschätzte Anzahl sehbehinderter Menschen weltweit

Sehbehinderte Menschen können über ihr Sehsystem keine Informationen aus der Außenwelt empfangen und sind in ihrem täglichen Leben mit zahlreichen Unannehmlichkeiten konfrontiert. Sie haben Schwierigkeiten, Hindernissen in der Nähe auszuweichen und sind nicht in der Lage, Informationen aus Büchern oder von Bildschirmen abzurufen.

Allerdings ist die langfristige Gesundheitsversorgung von Sehbehinderten sehr kostspielig.Allerdings sind die vorhandenen Hilfsmittel für Sehbehinderte teuer, sperrig und weisen eine unzureichende Interaktivität auf., und es ist schwierig, ihren täglichen Bedarf zu decken.

Um die oben genannten Probleme zu lösen,Forscher der Guangdong Polytechnic Normal University und der Wuhan University of Science and Technology haben eine Reihe von Hilfsmitteln für Sehbehinderte entwickelt, die auf der künstlichen Intelligenz der Dinge (AIoT) basieren..

Dieses Ausrüstungsset besteht hauptsächlich aus einer Smartbrille und einem Smart Cane und kostet insgesamt etwa 480 Yuan.Es kann den Status der Benutzer und der Umgebung durch eine Vielzahl von Sensoren überwachen, Benutzern bei der Interaktion mit der Umgebung helfen und in Gefahrensituationen Alarme auslösen. Dieses Ergebnis wurde in „Electronics“ veröffentlicht.

Dieses Ergebnis wurde in "Electronics" veröffentlicht.

Link zum Artikel:

https://www.mdpi.com/2079-9292/12/18/3760

Gerätedesign

AIoT-Architektur: Wahrnehmung und Interaktion

Die AIoT-Architektur von Sehhilfen für Sehbehinderte besteht aus drei Schichten:

1.Wahrnehmungsebene, d. h. Sensoren und Module, die externe Daten sammeln;

2.Rasterebene, verwendet Narrowband Internet of Things (NB-IoT) für die Datenverbindung und HTTP- und MQTT-Protokolle für die Datenübertragung;

3.Anwendungsschicht, hauptsächlich Interaktion mit Benutzern über APP und Bluetooth-Audiogeräte.

Abbildung 2: AIoT-Architekturdiagramm

Datenbrille:YOLO v5 + OCR

Sehbehinderten-Hilfsmittel sollten sowohl bequem als auch zuverlässig sein, um den täglichen Bedürfnissen der Sehbehinderten gerecht zu werden. Dazu sammelten die Forscher Bilder mit einer Stereokamera und analysierten anschließend Objekte und ihre Entfernungen mit dem leichtgewichtigen Gittermodell YOLO v5 oder lasen Text mithilfe der optischen Zeichenerkennung (OCR).

Abbildung 3:Schematische Darstellung des Aufbaus einer Datenbrille

Bei der ObjekterkennungDer YOLO v5-Algorithmus unterteilt das Bild in ein Raster, sagt dann den Begrenzungsrahmen für jede Rasterzelle voraus und identifiziert beim Erstellen des Begrenzungsrahmens verschiedene Objekte im Bild..

Das YOLO v5-Raster ist hauptsächlich in 4 Ebenen unterteilt, darunter:

1. Eingang: Wird verwendet, um das Eingabebild zunächst zu definieren;

2. Rückgrat：Verwenden Sie ein Convolutional Neural Network (CNN), um Bildmerkmale zu extrahieren.

3. Nacken: Bildfunktionen integrieren und die Backbone-Schicht und die Ausgabeschicht verbinden;

4. Ausgabe: Vorhersage von Objekten in einem Bild mithilfe von Begrenzungsrahmeneingaben.

Abbildung 4: YOLO v5-Algorithmusarchitektur in dieser Studie

Zusätzlich zur Bilderkennung kann der YOLO v5-Algorithmus durch den Vergleich von Bildern der Binokularkamera auch die Entfernung zwischen dem Benutzer und Hindernissen berechnen.

Abbildung 5: YOLO v5s Methode zur Berechnung der Hindernisdistanz

Abbildung 6: YOLO v5s Formel zur Berechnung der Hindernisdistanz

In der Formel ist B der Abstand zwischen der linken und rechten Linse der Kamera, f die Brennweite der Kamera und d die Parallaxe zwischen den entsprechenden linken und rechten Punkten.

Die OCR-Funktion der Smart Glasses wird durch den Aufruf der Baidu OCR-API realisiert. Der OCR-Prozess umfasst Bilderfassung, Rauschunterdrückung, Binärisierung, Textbereichsextraktion, Zeichensegmentierung, Zeichenerkennung, Optimierung und Audioausgabe.

Abbildung 7: Schematische Darstellung des OCR-Prozesses

Intelligenter Gehstock:Gesundheitsüberwachung und Umweltsensorik

Eine der Hauptfunktionen intelligenter Gehstöcke ist die Gesundheitsüberwachung.Daher sind Sensoren wie Herzfrequenz- und Körpertemperatursensoren sowie Datenerfassungsmodule in den Blindenstock integriert.. Um eine berührungslose Messung zu erreichen, nutzt der Herzfrequenzsensor die Photoplethysmographie (PPG) zur Überwachung und der Körpertemperatursensor Infrarotstrahlung zur Überwachung.

Abbildung 8: Schematische Darstellung des Aufbaus des Smart Cane

Um die Wahrnehmung der Umgebung für Sehbehinderte zu verbessern,Der Gehstock verfügt außerdem über Temperatur-, Feuchtigkeits- und Haltungssensoren. Der Haltungssensor besteht aus einem Beschleunigungsmesser und einem Gyroskop und überwacht, ob für den Benutzer Sturzgefahr besteht, indem er die kombinierte Beschleunigung des Benutzers (ACLR) berechnet.

Wenn sich der Benutzer zu nahe an einem Hindernis befindet oder der Haltungssensor erkennt, dass der Benutzer stürzen könnte, gibt der Gehstock durch Vibration und Summer einen Alarm aus.

Abbildung 9: 3D-Koordinatensystem zur Sturzerkennung

Experimentelle Ergebnisse

Bilderkennung:Objekte und Entfernung

Die Forscher führten 20 Tests zu den Objekterkennungsfunktionen des Geräts in gängigen Innen- und Außenumgebungen durch. Die Ergebnisse zeigen, dassDer YOLO v5-Algorithmus kann Objekte in der Umgebung genau identifizieren und die Entfernung zwischen den Objekten und dem Benutzer sowohl in Innen- als auch in Außenbereichen einschätzen.

Abbildung 10: Testergebnisse im Innenraum

Abbildung 11: Testergebnisse im Außenbereich

Allerdings steigt die Fehlerrate mit der Anzahl der Objekte im Bild, insbesondere bei Objekten mit ähnlichen Merkmalen, wie etwa einem Fernseher und einem Monitor oder einem Fahrrad und einem Motorrad.Schließlich betrug die Erkennungsgenauigkeit der Smart Glasses 92,16%.

Selbst wenn der YOLO v5-Algorithmus ein Objekt falsch identifiziert, kann er dennoch eine Einschätzung der Entfernung vornehmen. Im Vergleich zu kommerziellen AppsDie Abweichungsrate des YOLO v5-Algorithmus bei der Beurteilung der Entfernung liegt zwischen 0,28 und 6,32%, nimmt mit der Entfernung zu.

Basierend auf dieser Einschätzung gibt der Smart Cane einen Alarm aus und übernimmt die Steuerung des Mikrocontrollers, um Hindernissen auszuweichen, wenn der Abstand zwischen dem Benutzer und dem Objekt weniger als 0,7 m beträgt.

OCR:Die Genauigkeit liegt nahe bei 100%

Gleichzeitig testeten die Forscher die OCR-Leistung der Smart Glasses anhand von 10 Textabsätzen. Unter Testbedingungen beträgt die OCR-Genauigkeit der Smart Glasses 100%. Obwohl Kopfbewegungen beim Lesen zu Erkennungsfehlern führen können,Die OCR-Gesamtgenauigkeit beträgt jedoch immer noch 99,91%.

Abbildung 12: OCR-Ergebnisse von Smart Glasses

Gesundheitsüberwachung: Herzfrequenz und Körpertemperatur

Das Herzfrequenzüberwachungsmodul zeichnet die Herzfrequenz des Benutzers in Echtzeit über PPG auf. Während des Tests zeichnete der Smart Cane die Herzfrequenz von Probanden unterschiedlichen Alters im Stand und beim Gehen auf.Die Abweichungsrate zwischen den Ergebnissen und kommerziellen Armbändern liegt zwischen 0,72-3,52%.

Tabelle 1: Ergebnisse der Herzfrequenzüberwachung verschiedener Versuchsgruppen

Bei der Temperaturprüfung im Vergleich zu medizinischen Stirnthermometern,Die maximale Abweichungsrate des Testmoduls beträgt 0,19% . Dieses Ergebnis zeigt, dass der Infrarot-Körpertemperatursensor auch bei einem intelligenten Gehstock die Körpertemperatur des Benutzers genau überwachen kann, ohne von der Umgebung gestört zu werden.

Tabelle 2: Ergebnisse der Körpertemperaturüberwachung verschiedener Versuchsgruppen

Haltungsüberwachung:Gehen, Treppensteigen

Intelligente Gehstöcke können die Körperhaltung des Benutzers über Beschleunigungsmesser und Gyroskope überwachen und einen Alarm auslösen, wenn ein Sturz droht.Das Experiment testete die Überwachungsergebnisse des Gehstocks beim Gehen des Benutzers, also beim Treppensteigen.Die Ergebnisse sind in 3 Kategorien unterteilt:

1. Richtig: Das Überwachungsergebnis des Stocks stimmt mit dem Status des Benutzers überein.

2. Falsch: Der Stock hat eine Sturzgefahr erkannt, der Benutzer befand sich jedoch noch in einem normalen Zustand;

3. Keine Reaktion: Der Stock zeigt einen normalen Status an, aber für den Benutzer besteht Sturzgefahr.

Tabelle 3: Genauigkeit der Sturzerkennung unter verschiedenen Versuchsbedingungen

In verschiedenen Szenarien,Die durchschnittliche Überwachungsgenauigkeit des Smart Cane beträgt 87,33%, was darauf hinweist, dass dieses Gerät in den meisten Fällen korrekte Beurteilungen über den Status des Benutzers vornehmen kann.

Das Internet von Allem:APP + Bluetooth

Abschließend werden alle Daten auf das Mobiltelefon übertragen.Und integriert per APP. gleichzeitig,Bluetooth-Audio überträgt diese Daten an den Benutzer, und hilft ihnen, ihren Gesundheitszustand und ihre äußere Umgebung zu verstehen.

Abbildung 13: Integrierte APP-Schnittstelle

Konzentrieren Sie sich auf die allgemeine Augengesundheit

Obwohl barrierefreie Einrichtungen in vielen Szenarien immer beliebter werden, sind diese Geräte eher auf Menschen mit eingeschränkter Mobilität ausgerichtet. Für sehbehinderte Menschen, die im Dunkeln leben, sind mehr barrierefreie Einrichtungen erforderlich.

Aber weilAufgrund der geringen Bevölkerungszahl und der hohen Kosten für die Einrichtungen ist es schwierig, diese Einrichtungen bekannt zu machen.. Einrichtungen wie Blindenpfade und Brailleschrift zur Unterstützung von Sehbehinderten,Mangelnde Wartung und Verwaltung, kann nicht wirksam sein.

Jedoch,Viele Einzelpersonen und Unternehmen haben sich an der Hilfe für Sehbehinderte beteiligt.. Derzeit verfügen die meisten gängigen Mobiltelefonmarken bereits über Bedienmethoden, die speziell für Sehbehinderte entwickelt wurden.

In Städten wie Beijing und Kunming wurden „Kinos im Kopf“ eröffnet, um Sehbehinderten Filme zu erzählen und ihnen so zu ermöglichen, Blockbuster im Kino zu sehen.

Auch in Spiele-Communitys wie „Minecraft“ und „Hearthstone“ gibt es begeisterte Spieler, die barrierefreie Module (Mods) entwickelt haben, die dazu beitragen sollen, das Spielerlebnis für Sehbehinderte zu verbessern.

Abbildung 14: Blindes Publikum im „Kopfkino“

Der 6. Juni 2023 ist der 28. Nationale Tag der Augenpflege mit dem Thema "Konzentrieren Sie sich auf die allgemeine Augengesundheit„Heute ist der 23. Welttag des Sehens. Ich hoffe, dass jeder auf die Gesundheit seines Sehvermögens achtet und sich für die sehbehinderten Menschen in seiner Umgebung einsetzt.“Arbeiten Sie mit KI, um eine zugängliche Welt zu schaffen.

Referenzlinks:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7