Selon les statistiques de l’Organisation mondiale de la santé, il y a 2,2 milliards de personnes malvoyantes dans le monde, dont 285 millions de personnes malvoyantes et 39 millions de personnes complètement aveugles. De plus, ce nombre continuera d’augmenter à mesure que la population vieillit.
Bien que les personnes malvoyantes soient confrontées à de nombreux inconvénients, les appareils d'assistance qui leur sont destinés présentent des problèmes tels que le coût élevé, la difficulté d'entretien et le fonctionnement complexe, ce qui rend difficile de répondre à leurs besoins de vie.
À cette fin, des chercheurs de l'Université normale polytechnique du Guangdong et de l'Université des sciences et technologies de Wuhan ont développé conjointement un ensemble de dispositifs d'assistance aux malvoyants basés sur l'Internet intelligent des objets, apportant du confort à la vie des malvoyants grâce à des algorithmes et des capteurs d'IA.

Auteur | Xuecai

Rédacteur | Trois moutons, tour de fer

Cet article a été publié pour la première fois sur la plateforme publique HyperAI WeChat~

En 2019, l’Organisation mondiale de la santé (OMS) a publié le premier « Rapport mondial sur la vision ». Le rapport indique,Il y a au moins 2,2 milliards de personnes malvoyantes dans le monde, dont 285 millions sont malvoyantes et 39 millions sont complètement aveugles.. En raison de la croissance démographique mondiale et du vieillissement de la population, le nombre de personnes malvoyantes pourrait tripler d’ici 2040.

Figure 1 :Nombre estimé de personnes malvoyantes dans le monde

Les personnes malvoyantes ne peuvent pas recevoir d’informations du monde extérieur par le biais de leur système visuel et sont confrontées à de nombreux désagréments dans leur vie quotidienne. Ils ont du mal à éviter les obstacles à proximité et sont incapables d’obtenir des informations à partir de livres ou d’écrans.

Cependant, les soins de santé à long terme pour les malvoyants sont très coûteux.Cependant, les dispositifs d’assistance existants pour les malvoyants sont coûteux, encombrants et présentent une faible interactivité., et il est difficile de répondre à leurs besoins quotidiens.

Pour résoudre les problèmes ci-dessus,Des chercheurs de l'Université normale polytechnique du Guangdong et de l'Université des sciences et technologies de Wuhan ont développé un ensemble de dispositifs d'assistance pour malvoyants basés sur l'intelligence artificielle des objets (AIoT)..

Cet ensemble d'équipements comprend principalement des lunettes intelligentes et une canne intelligente, pour un coût total d'environ 480 yuans.Il peut surveiller l'état des utilisateurs et de l'environnement grâce à une variété de capteurs, aider les utilisateurs à interagir avec l'environnement et émettre des alarmes dans des situations dangereuses. Ce résultat a été publié dans « Electronics ».

Ce résultat a été publié dans « Electronics »

Lien vers l'article :

https://www.mdpi.com/2079-9292/12/18/3760

Conception d'équipements

Architecture AIoT : perception et interaction

L'architecture AIoT des dispositifs d'assistance aux malvoyants se compose de 3 couches :

1.Couche de perception, c'est-à-dire des capteurs et des modules qui collectent des données externes ;

2.Couche de grille, utilise l'Internet des objets à bande étroite (NB-IoT) pour la connexion de données et les protocoles HTTP et MQTT pour la transmission de données ;

3.Couche application, interagissant principalement avec les utilisateurs via des applications et des appareils audio Bluetooth.

Figure 2 : Diagramme d'architecture AIoT

Lunettes intelligentes:YOLO v5 + OCR

Les dispositifs d’assistance aux malvoyants doivent être à la fois pratiques et fiables pour répondre aux besoins quotidiens des malvoyants.. Pour ce faire, les chercheurs ont collecté des images à l’aide d’une caméra stéréo, puis ont analysé les objets et leurs distances à l’aide du modèle de grille léger YOLO v5, ou ont lu du texte à l’aide de la reconnaissance optique de caractères (OCR).

Figure 3 :Schéma de la structure des lunettes intelligentes

Lors de la reconnaissance d'objets,L'algorithme YOLO v5 divise l'image en une grille, puis prédit le cadre de délimitation pour chaque cellule de la grille et identifie différents objets dans l'image lors de la création du cadre de délimitation..

La grille YOLO v5 est principalement divisée en 4 couches, dont :

1. saisir: Utilisé pour définir initialement l'image d'entrée ;

2. colonne vertébrale：Utiliser un réseau neuronal convolutif (CNN) pour extraire les caractéristiques de l'image ;

3. cou: Intégrer les fonctionnalités de l’image et connecter la couche dorsale et la couche de sortie ;

4. sortir: Prédiction d'objets dans une image à l'aide d'une entrée de boîte englobante.

Figure 4 : Architecture de l'algorithme YOLO v5 dans cette étude

En plus de la reconnaissance d'images, l'algorithme YOLO v5 peut également calculer la distance entre l'utilisateur et les obstacles en comparant les images de la caméra binoculaire.

Figure 5 : Méthode de calcul de la distance des obstacles de YOLO v5

Figure 6 : Formule YOLO v5 pour calculer la distance des obstacles

Dans la formule, B est la distance entre les objectifs gauche et droit de l'appareil photo, f est la distance focale de l'appareil photo et d est la parallaxe entre les points gauche et droit correspondants.

La fonction OCR des lunettes intelligentes est réalisée en appelant l'API Baidu OCR. Le processus OCR comprend l'acquisition d'images, la réduction du bruit, la binarisation, l'extraction de zones de texte, la segmentation de caractères, la reconnaissance de caractères, l'optimisation et la sortie audio.

Figure 7 : Schéma du processus OCR

Canne intelligente:Surveillance de la santé et détection environnementale

L’une des principales fonctions des cannes intelligentes est la surveillance de la santé.C'est pourquoi des capteurs tels que la fréquence cardiaque et la température corporelle ainsi que des modules de collecte de données sont intégrés au stick aveugle.. Pour réaliser une mesure sans contact, le capteur de fréquence cardiaque utilise la photopléthysmographie (PPG) pour la surveillance, et le capteur de température corporelle utilise le rayonnement infrarouge pour la surveillance.

Figure 8 : Schéma de la structure de la canne intelligente

De plus, pour améliorer la perception de l'environnement des personnes malvoyantes,La canne intègre également des capteurs de température, d'humidité et de posture. Le capteur de posture se compose d'un accéléromètre et d'un gyroscope et surveille si l'utilisateur risque de tomber en calculant l'accélération combinée de l'utilisateur (ACLR).

Si l'utilisateur est trop près d'un obstacle ou si le capteur de posture détecte que l'utilisateur risque de tomber, la canne émettra une alarme par vibration et buzzer.

Figure 9 : Système de coordonnées 3D pour la détection des chutes

Résultats expérimentaux

Reconnaissance d'images:Objets et distance

Les chercheurs ont effectué 20 tests sur les capacités de reconnaissance d'objets de l'appareil dans des environnements intérieurs et extérieurs courants. Les résultats montrent queL'algorithme YOLO v5 peut identifier avec précision les objets dans l'environnement et évaluer la distance entre les objets et l'utilisateur dans les environnements intérieurs et extérieurs.

Figure 10 : Résultats des tests en environnement intérieur

Figure 11 : Résultats des tests en environnement extérieur

Cependant, le taux d’erreur augmente à mesure que le nombre d’objets dans l’image augmente, en particulier pour les objets ayant des caractéristiques similaires, comme un téléviseur et un moniteur, ou un vélo et une moto.Enfin, la précision de reconnaissance des lunettes intelligentes était de 92,16%.

Même si l’algorithme YOLO v5 identifie mal un objet, il peut toujours émettre un jugement sur la distance. Par rapport aux applications commerciales,Le taux de déviation de l'algorithme YOLO v5 dans l'évaluation de la distance est compris entre 0,28 et 6,32%, augmente avec la distance.

Sur la base de ce jugement, lorsque la distance entre l'utilisateur et l'objet est inférieure à 0,7 m, la canne intelligente émettra une alarme et prendra le relais du microcontrôleur pour éviter les obstacles.

OCR:La précision est proche de 100%

Dans le même temps, les chercheurs ont testé les performances OCR des lunettes intelligentes en utilisant 10 paragraphes de texte. Dans des conditions de test, la précision OCR des lunettes intelligentes est de 100%. Bien que les mouvements de la tête pendant la lecture puissent entraîner certaines erreurs de reconnaissance,Mais la précision globale de l'OCR est toujours de 99,91%.

Figure 12 : Résultats OCR des lunettes intelligentes

Surveillance de la santé:Fréquence cardiaque et température corporelle

Le module de surveillance de la fréquence cardiaque enregistre la fréquence cardiaque de l'utilisateur en temps réel via PPG. Au cours du test, la canne intelligente a enregistré la fréquence cardiaque de sujets d’âges différents lorsqu’ils étaient immobiles et marchaient.Le taux d'écart entre les résultats et les bracelets commerciaux est compris entre 0,72 et 3,52%.

Tableau 1 : Résultats de la surveillance de la fréquence cardiaque de différents groupes expérimentaux

Lors des tests de température, comparés aux thermomètres frontaux médicaux,Le taux de déviation maximal du module de test est de 0,19% . Ce résultat montre que même sur une canne intelligente, le capteur de température corporelle infrarouge peut surveiller avec précision la température corporelle de l'utilisateur sans être perturbé par l'environnement.

Tableau 2 : Résultats de la surveillance de la température corporelle de différents groupes expérimentaux

Surveillance de la posture:Marcher, monter et descendre les escaliers

Les cannes intelligentes peuvent surveiller la posture de l'utilisateur grâce à des accéléromètres et des gyroscopes et émettre une alarme si une chute est probable.L'expérience a testé les résultats de surveillance de la canne lorsque l'utilisateur marchait, montait et descendait les escaliers.Les résultats sont divisés en 3 catégories :

1. Correct : Le résultat de la surveillance de la canne est cohérent avec l’état de l’utilisateur ;

2. Incorrect : La canne a détecté un risque de chute, mais l’utilisateur était toujours dans un état normal ;

3. Aucune réponse : la canne affiche un état normal, mais l'utilisateur risque de tomber.

Tableau 3 : Précision de la détection des chutes dans différentes conditions expérimentales

Dans différents scénarios,La précision moyenne de surveillance de la canne intelligente est de 87,33%, indiquant que cet appareil peut émettre des jugements corrects sur l'état de l'utilisateur dans la plupart des cas.

L'Internet de tout:APPLICATION + Bluetooth

Enfin, toutes les données seront transférées sur le téléphone mobile.Et intégré via APP. en même temps,L'audio Bluetooth diffusera ces données à l'utilisateur, les aidant à comprendre leur état de santé et leur environnement extérieur.

Figure 13 : Interface APP intégrée

Se concentrer sur la santé oculaire générale

Bien que les installations sans obstacles deviennent de plus en plus populaires dans de nombreux scénarios, ces dispositifs sont davantage destinés aux personnes à mobilité réduite. Pour les personnes malvoyantes vivant dans l’obscurité, il faut davantage d’installations sans obstacles.

Mais parce queLa population est petite et le coût des installations est élevé, il est donc difficile de populariser ces installations.. Des installations telles que des chemins pour les aveugles et du braille pour faciliter l'accès aux personnes malvoyantes,Manque d'entretien et de gestion, ne peut pas être efficace.

Cependant,De nombreuses personnes et entreprises ont participé à l’aide aux personnes malvoyantes.. Actuellement, la plupart des grandes marques de téléphones mobiles disposent déjà de méthodes de fonctionnement conçues spécifiquement pour les malvoyants.

Dans des villes comme Pékin et Kunming, des « cinémas dans l'esprit » ont été ouverts pour montrer des films aux malvoyants, les aidant à regarder des films à succès dans les salles.

Dans les communautés de jeux telles que « Minecraft » et « Hearthstone », il existe également des joueurs enthousiastes qui ont développé des modules sans barrière (Mods) pour aider à améliorer l'expérience de jeu des malvoyants.

Figure 14 : Public aveugle dans le « cinéma dans l'esprit »

Le 6 juin 2023 est la 28e Journée nationale des soins oculaires, dont le thème est «Se concentrer sur la santé oculaire généraleAujourd'hui, c'est la 23e Journée mondiale de la vue. J'espère que chacun pourra prêter attention à sa santé visuelle et contribuer à la vie des personnes malvoyantes qui l'entourent.Travaillez avec l’IA pour construire un monde accessible.

Liens de référence :

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7