세계보건기구의 통계에 따르면, 전 세계 시각장애인은 22억 명이고, 이 중 2억 8,500만 명이 시각장애인이고, 3,900만 명이 완전맹인입니다. 게다가 인구가 고령화됨에 따라 이 숫자는 계속 증가할 것입니다.
시각 장애인은 많은 불편함을 겪고 있지만, 그들을 위한 보조기구는 비용이 많이 들고, 유지관리가 어렵고, 작동이 복잡하다는 등의 문제점이 있어 그들의 삶의 필요를 충족시키기 어렵습니다.
이를 위해 광둥이공사범대학과 우한과학기술대학의 연구진은 스마트 사물인터넷을 기반으로 한 시각장애인 보조장치 세트를 공동으로 개발하여 AI 알고리즘과 센서를 통해 시각장애인의 삶에 편리함을 제공했습니다.

저자 | 쉐차이

편집자 | 세 마리 양, 철탑

본 기사는 HyperAI WeChat 공개 플랫폼에 처음 게재되었습니다~

2019년에 세계보건기구(WHO)는 첫 번째 "세계시력보고서"를 발표했습니다. 보고서는 다음과 같이 명시하고 있습니다.전 세계 시각장애인은 최소 22억 명이고, 그 중 2억 8,500만 명이 시각장애인이고 3,900만 명이 완전 실명자입니다.. 전 세계 인구 증가와 고령화로 인해 2040년까지 시각 장애인의 수는 세 배로 늘어날 것으로 예상됩니다.

그림 1:전 세계 시각 장애인 수 추산

시각 장애인은 시각 체계를 통해 외부 세계의 정보를 받을 수 없으며, 일상생활에서 많은 불편을 겪습니다. 그들은 주변 장애물을 피하는 데 어려움을 겪고 책이나 화면에서 정보를 얻을 수 없습니다.

그러나 시각 장애인의 장기적인 건강 관리 비용은 매우 높습니다.그러나 시각 장애인을 위한 기존 보조 장치는 가격이 비싸고, 크고, 상호작용성이 부족합니다., 그리고 그들의 일상적인 요구를 충족시키는 것은 어렵습니다.

위의 문제를 해결하려면,광둥이공사범대학과 우한과학기술대학의 연구원들은 사물인공지능(AIoT)을 기반으로 시각장애인 보조장치 세트를 개발했습니다..

이 장비 세트는 주로 스마트 안경과 스마트 지팡이로 구성되며, 총비용은 약 480위안입니다.다양한 센서를 통해 사용자와 환경의 상태를 모니터링하고, 사용자가 환경과 상호 작용하도록 돕고, 위험한 상황에서 경보를 발령할 수 있습니다.. 이 결과는 "Electronics"에 게재되었습니다.

본 결과는 "Electronics"에 게재되었습니다.

논문 링크:

https://www.mdpi.com/2079-9292/12/18/3760

장비 설계

AIoT 아키텍처: 인식과 상호 작용

시각 장애인 보조 장치의 AIoT 아키텍처는 3개의 계층으로 구성됩니다.

1.인식 계층즉, 외부 데이터를 수집하는 센서와 모듈입니다.

2.그리드 레이어데이터 연결에는 NB-IoT(Narrowband Internet of Things)를 사용하고, 데이터 전송에는 HTTP 및 MQTT 프로토콜을 사용합니다.

3.애플리케이션 계층주로 APP와 Bluetooth 오디오 장치를 통해 사용자와 상호 작용합니다.

그림 2: AIoT 아키텍처 다이어그램

스마트 안경:YOLO v5 + OCR

시각 장애인 보조 장치는 시각 장애인의 일상적인 요구를 충족할 수 있을 만큼 편리하고 안정적이어야 합니다.. 이를 위해 연구진은 스테레오 카메라를 사용하여 이미지를 수집한 다음 가벼운 그리드 모델인 YOLO v5를 사용하여 물체와 그 거리를 분석하거나 광학 문자 인식(OCR)을 사용하여 텍스트를 읽었습니다.

그림 3:스마트 안경 구조의 개략도

객체 인식 중,YOLO v5 알고리즘은 이미지를 그리드로 나눈 다음, 각 그리드 셀에 대한 경계 상자를 예측하고 경계 상자를 생성하는 동안 이미지의 다양한 객체를 식별합니다..

YOLO v5 그리드는 주로 다음을 포함하여 4개의 레이어로 구분됩니다.

1. 입력: 입력 이미지를 처음 정의하는 데 사용됩니다.

2. 등뼈：CNN(합성곱 신경망)을 사용하여 이미지 특징을 추출합니다.

3. 목: 이미지 특징을 통합하고 백본 계층과 출력 계층을 연결합니다.

4. 산출: 경계 상자 입력을 사용하여 이미지의 객체를 예측합니다.

그림 4: 이 연구의 YOLO v5 알고리즘 아키텍처

YOLO v5 알고리즘은 이미지 인식뿐 아니라 쌍안경 카메라의 이미지를 비교하여 사용자와 장애물 사이의 거리를 계산할 수도 있습니다.

그림 5: YOLO v5의 장애물 거리 계산 방법

그림 6: 장애물 거리를 계산하기 위한 YOLO v5의 공식

공식에서 B는 카메라의 왼쪽과 오른쪽 렌즈 사이의 거리이고, f는 카메라의 초점거리이고, d는 해당 왼쪽과 오른쪽 지점 사이의 시차입니다.

스마트 안경의 OCR 기능은 Baidu OCR API를 호출하여 구현됩니다. OCR 프로세스에는 이미지 수집, 노이즈 감소, 이진화, 텍스트 영역 추출, 문자 분할, 문자 인식, 최적화 및 오디오 출력이 포함됩니다.

그림 7: OCR 프로세스의 개략도

스마트 케인:건강 모니터링 및 환경 감지

스마트 지팡이의 주요 기능 중 하나는 건강 모니터링입니다.따라서 심박수, 체온 등의 센서와 데이터 수집 모듈이 블라인드 스틱에 통합되어 있습니다.. 비접촉식 측정을 달성하기 위해 심박수 센서는 광전용적맥파(PPG)를 사용하여 모니터링하고, 체온 센서는 적외선을 사용하여 모니터링합니다.

그림 8: 스마트 지팡이 구조의 개략도

또한 시각 장애인의 주변 환경 인식을 향상시키기 위해지팡이에는 온도, 습도 및 자세 센서도 통합되어 있습니다.. 자세 센서는 가속도계와 자이로스코프를 포함하고 있으며, 사용자의 복합 가속도(ACLR)를 계산하여 사용자가 넘어질 위험이 있는지 모니터링합니다.

사용자가 장애물에 너무 가까이 있거나 자세 센서가 사용자가 넘어질 위험이 있다고 감지하면 지팡이가 진동과 부저를 통해 경고음을 울립니다.

그림 9: 낙상 감지를 위한 3D 좌표계

실험 결과

이미지 인식:물체와 거리

연구원들은 일반적인 실내 및 실외 환경에서 장치의 객체 인식 기능에 대한 20가지 테스트를 수행했습니다. 결과는 다음과 같습니다YOLO v5 알고리즘은 실내와 실외 환경 모두에서 주변 환경 속 객체를 정확하게 식별하고 객체와 사용자 사이의 거리를 판단할 수 있습니다.

그림 10: 실내 환경에서의 테스트 결과

그림 11: 야외 환경에서의 테스트 결과

그러나 이미지에 포함된 객체의 수가 늘어날수록 오류율은 커지며, 특히 TV와 모니터, 자전거와 오토바이처럼 유사한 특징을 가진 객체의 경우 오류율이 커집니다.마지막으로 스마트 안경의 인식 정확도는 92.16%였습니다.

YOLO v5 알고리즘이 객체를 잘못 식별하더라도 여전히 거리를 판단할 수 있습니다. 상용 앱과 비교했을 때,YOLO v5 알고리즘의 거리 판단 편차율은 0.28~6.32% 사이입니다., 거리에 따라 증가합니다.

이러한 판단에 따라 사용자와 물체 사이의 거리가 0.7m 미만일 경우 스마트 지팡이는 경고음을 울리고 마이크로컨트롤러를 제어하여 장애물을 피합니다.

OCR:정확도는 100%에 가깝습니다.

동시에 연구진은 10개 문단의 텍스트를 사용하여 스마트 안경의 OCR 성능을 테스트했습니다. 테스트 조건에서 스마트 안경의 OCR 정확도는 100%입니다. 독서 중 머리 움직임으로 인해 일부 인식 오류가 발생할 수 있지만,하지만 전반적인 OCR 정확도는 여전히 99.91%입니다.

그림 12: 스마트 안경의 OCR 결과

건강 모니터링: 심박수와 체온

심박수 모니터링 모듈은 PPG를 통해 사용자의 심박수를 실시간으로 기록합니다. 실험이 진행되는 동안, 스마트 지팡이는 다양한 연령대의 피험자가 움직이지 않을 때와 걸을 때의 심박수를 기록했습니다.결과와 상용 손목 밴드 사이의 편차율은 0.72-3.52% 사이입니다..

표 1: 다양한 실험군의 심박수 모니터링 결과

온도 테스트에서 의료용 이마 온도계와 비교했을 때,시험모듈의 최대 편차율은 0.19%이다. . 이 결과는 스마트 지팡이에서도 적외선 체온 센서가 주변 환경에 방해받지 않고 사용자의 체온을 정확하게 모니터링할 수 있음을 보여줍니다.

표 2: 다양한 실험군의 체온 모니터링 결과

자세 모니터링:걷기, 계단 오르내리기

스마트 지팡이는 가속도계와 자이로스코프를 통해 사용자의 자세를 모니터링하고 넘어질 가능성이 있으면 경보를 울립니다.이 실험은 사용자가 걷고, 계단을 오르내릴 때 지팡이의 모니터링 결과를 테스트했습니다.결과는 3가지 범주로 나뉩니다.

1. 정답: 지팡이의 모니터링 결과는 사용자의 상태와 일치합니다.

2. 잘못된 예: 지팡이는 넘어질 위험을 감지했지만 사용자는 여전히 정상적인 상태에 있었습니다.

3. 반응 없음: 지팡이는 정상적인 상태를 보이지만, 사용자가 넘어질 위험이 있습니다.

표 3: 다양한 실험 조건에서의 낙상 감지 정확도

다양한 시나리오에서,스마트 지팡이의 평균 모니터링 정확도는 87.33%입니다.이는 이 장치가 대부분의 경우 사용자의 상태에 대해 올바른 판단을 내릴 수 있음을 나타냅니다.

사물 인터넷:앱 + 블루투스

마지막으로 모든 데이터는 휴대폰으로 전송됩니다.그리고 APP를 통해 통합됨. 동시에,Bluetooth 오디오는 이 데이터를 사용자에게 브로드캐스트합니다.건강 상태와 외부 환경을 이해하는 데 도움이 됩니다.

그림 13: 통합 APP 인터페이스

일반적인 눈 건강에 집중하세요

장애인 편의시설이 여러 분야에서 점점 더 인기를 얻고 있지만, 이러한 장치는 이동이 제한된 사람들을 더욱 겨냥한 것입니다. 어둠 속에서 사는 시각 장애인에게는 장애물 없는 시설이 더 필요합니다.

하지만 왜냐하면인구가 적고 시설 비용이 많이 들기 때문에 이런 시설을 대중화하기는 어렵습니다.. 시각 장애인의 편의를 위해 시각 장애인 통로 및 점자 등의 시설을 갖추고 있습니다.유지 관리 및 관리 부족, 효과적일 수 없습니다.

하지만,많은 개인과 회사가 시각 장애인을 돕는 데 참여해 왔습니다.. 현재 대부분의 주요 휴대폰 브랜드는 시각 장애인을 위해 특별히 설계된 운영 방법을 이미 제공하고 있습니다.

베이징과 쿤밍 등의 도시에서는 시각 장애인을 위해 영화를 보여주는 '마인드 시네마'가 개장해, 이들이 극장에서 블록버스터 영화를 관람할 수 있도록 돕고 있습니다.

"마인크래프트"와 "하스스톤"과 같은 게임 커뮤니티에는 시각 장애인의 게임 경험을 개선하는 데 도움이 되는 배리어프리 모듈(모드)을 개발한 열성적인 플레이어도 있습니다.

그림 14: "마음 속의 영화" 속 시각 장애인 관객

2023년 6월 6일은 "라는 주제로 제28회 전국 안과 진료의 날입니다.일반적인 눈 건강에 집중하세요오늘은 제23회 세계 시력의 날입니다. 모두가 시력 건강에 관심을 갖고 주변 시각 장애인들을 위해 기여할 수 있기를 바랍니다.AI와 협력하여 접근 가능한 세상을 만들어 보세요.

참조 링크:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7