世界保健機関の統計によると、世界中で合計 22 億人が視覚障害者となっており、そのうち 2 億 8,500 万人が視覚障害者、3,900 万人が全盲者となっています。さらに、高齢化に伴ってこの数はさらに増加していくでしょう。
視覚障害者にとって不便な点は多いが、視覚障害者用福祉機器は、価格が高い、メンテナンスが難しい、操作が複雑であるなどの課題があり、日常のニーズを満たすことが困難である。
この目的を達成するために、広東工科師範大学と武漢科学技術大学の研究者は、AI アルゴリズムとセンサーを通じて視覚障害者の生活に利便性をもたらす、スマートなモノのインターネットに基づいた一連の視覚障害者支援デバイスを共同開発しました。

著者 | 雪才

編集者 | 三陽市 鉄塔

この記事は、HyperAI Super Neural WeChat パブリック プラットフォームで初めて公開されました~

2019年、世界保健機関（WHO）は初の「ワールド・ビジョン・レポート」を発表した。報告書には次のように述べられていました。世界には少なくとも 22 億人の視覚障害者がおり、そのうち 2 億 8,500 万人が視覚障害者で、3,900 万人が全盲です。。世界的な人口増加と高齢化の影響を受け、視覚障害者の数は 2040 年までに 3 倍になる可能性があります。

図1:世界中の視覚障害者の推定数

視覚障害者は視覚を通して外部情報を受け取ることができず、日常生活において多くの不便を抱えています。近くの障害物を避けたり、本や画面から情報を得ることが困難です。

しかし、視覚障害者の長期的な健康状態の監視には非常に費用がかかります。しかし、視覚障害者向けの既存の補助装置は高価でかさばり、双方向性が乏しいものです。、日々のニーズを満たすのは困難です。

上記の問題を解決するために、広東工科師範大学と武漢科学技術大学の研究者は、人工知能 (AIoT) に基づいた視覚障害者向けの補助装置セットを開発しました。。

この機器セットには主にスマートグラスとスマートブラインドステッキが含まれており、総コストは約480元です。さまざまなセンサーを通じてユーザーと環境の状態を監視し、ユーザーが環境と対話できるように支援し、危険な状況で警報を発することができます。。この成果は「エレクトロニクス」誌に掲載されました。

この成果は「エレクトロニクス」に掲載されました

論文リンク:

https://www.mdpi.com/2079-9292/12/18/3760

設備設計

AIoT アーキテクチャ: 認識とインタラクション

視覚障害者支援装置の AIoT アーキテクチャには、次の 3 つの層が含まれています。

1.知覚層、つまり、外部データを収集するセンサーとモジュールです。

2.グリッドレイヤー、データ接続にはナローバンド モノのインターネット (NB-IoT) を使用し、データ送信には HTTP および MQTT プロトコルを使用します。

3.アプリケーション層、主にAPPおよびBluetoothオーディオデバイスを通じてユーザーと対話します。

図 2: AIoT のアーキテクチャの概略図

スマートグラス:YOLO v5 + OCR

視覚障害者向けの補助装置は、視覚障害者の日常のニーズを満たす利便性と信頼性を兼ね備えている必要があります。。この目的を達成するために、研究者は双眼カメラで画像を収集し、軽量メッシュ モデル YOLO v5 でオブジェクトとその距離を分析するか、光学式文字認識 (OCR) でテキストを読み取ります。

図3:スマートグラスの構造図

オブジェクト認識プロセス中に、YOLO v5 アルゴリズムは、画像をグリッドに分割し、各グリッド セルの境界ボックスを予測し、境界ボックスの作成中に画像内のさまざまなオブジェクトを識別します。。

YOLO v5 グリッドは主に次の 4 つのレイヤーに分かれています。

1. 入力: 入力画像を最初に定義するために使用されます。

2. バックボーン: 畳み込みニューラル ネットワーク (CNN) を使用して画像の特徴を抽出します。

3. ネック: 画像の特徴を統合し、バックボーン層と出力層を接続します。

4. 出力: バウンディングボックス入力を使用した画像内のオブジェクトの予測。

図 4: この研究における YOLO v5 アルゴリズム アーキテクチャ

YOLO v5 アルゴリズムは、画像認識に加えて、双眼カメラからの画像を比較することで、ユーザーと障害物との間の距離を計算することもできます。

図 5: YOLO v5 の障害物距離の計算方法

図 6: 障害物距離を計算するための YOLO v5 式

式中、B はカメラの左右のレンズ間の距離、f はカメラの焦点距離、d は対応する左右の点の視差です。

スマートグラスのOCR機能はBaidu OCR APIを呼び出すことで実装されます。 OCR プロセスには、画像取得、ノイズ低減、二値化 (バイナリザトイン)、テキスト領域抽出、文字セグメンテーション、文字認識、最適化、および音声出力が含まれます。

図 7: OCR プロセス図

スマートブラインドステッキ:健康状態のモニタリングと環境センシング

スマートブラインドステッキの主な機能の 1 つは、健康状態の監視です。したがって、心拍数、体温、その他のセンサーとデータ収集モジュールが盲杖に統合されています。。非接触測定を実現するために、心拍数センサーは光電脈波計 (PPG) を使用して監視し、体温センサーは赤外線を使用して監視します。

図8：スマートブラインドステッキの構造図

また、視覚障害者の環境認識を高めるために、ブラインドステッキには、温度、湿度、姿勢センサーも統合されています。姿勢センサーは加速度計とジャイロスコープで構成され、ユーザーの複合加速度（ACLR）を計算することでユーザーが転倒する危険があるかどうかを監視します。

ユーザーが障害物に近づきすぎたり、姿勢センサーがユーザーの転倒の可能性を検知した場合、ブラインドステッキは振動とブザーで警報を鳴らします。

図 9: 落下監視のための 3D 座標系

実験結果

画像認識:物体と距離

研究者らは、一般的な屋内および屋外環境でデバイスの物体認識機能を 20 回テストしました。結果は次のようになります。屋内と屋外の両方の環境において、YOLO v5 アルゴリズムは環境内のオブジェクトをより正確に識別し、オブジェクトとユーザーの間の距離を判断できます。

図 10: 屋内環境でのテスト結果

図 11: 屋外環境でのテスト結果

ただし、画像内のオブジェクトの数が増えると、特にテレビやモニター、自転車やバイクなど、同様の特性を持つオブジェクトの場合、エラー率が増加します。最終的にスマートグラスの認識精度は92.16%となった。

YOLO v5 アルゴリズムがオブジェクトを誤認識した場合でも、距離を判断できます。市販アプリと比べて、YOLO v5アルゴリズムによる距離判定の乖離率は0.28～6.32%、距離とともに増加します。

この判断に基づいて、ユーザーと物体との距離が 0.7 m 未満になると、スマートブラインドステッキがアラームを鳴らし、マイクロコントローラーを引き継いで障害物を回避します。

OCR:命中率は100%に近い

同時に、研究者らは 10 段落のテキストを使用してスマート グラスの OCR パフォーマンスをテストしました。テスト条件下では、スマート グラスの OCR 精度率は 100% です。読み取り時の頭の動きにより認識誤差が生じる場合がございますが、ただし、全体的な OCR 精度は依然として 99.91% です。

図 12: スマート グラスの OCR 結果

健康状態の監視: 心拍数と体温

心拍数監視モジュールは、PPG を通じてユーザーの心拍数をリアルタイムで記録します。テスト中、スマート盲杖は、さまざまな年齢の被験者の安静時および歩行時の心拍数を記録しました。結果と市販のブレスレットとの乖離率は0.72～3.52%の間です。。

表 1: さまざまな実験グループの心拍数モニタリング結果

体温検査では、医療用額式体温計と比較して、テストモジュールの最大偏差率は0.19%です 。この結果は、スマートブラインドステッキ上でも、赤外線体温センサーが環境に干渉されることなくユーザーの体温を正確に監視できることを示しています。

表 2: さまざまな実験グループの体温モニタリング結果

姿勢監視:歩く、階段を上り下りする

スマートブラインドステッキは、加速度計とジャイロスコープを通じてユーザーの姿勢を監視し、転倒の可能性がある場合にはアラームを鳴らします。実験では、歩行時、階段の上り下り時のユーザーの盲杖のモニタリング結果をテストしました。そして、結果を 3 つのカテゴリに分類します。

1. 正解: 盲杖のモニタリング結果はユーザーの状態と一致しています。

2. 不正解: 盲目の杖は転倒の危険を検知しますが、使用者はまだ正常な状態です。

3. 応答なし: ブラインドステッキは正常な状態を示していますが、使用者は転倒する危険があります。

表 3: さまざまな実験条件下での落下モニタリングの精度

さまざまなシナリオで、スマートブラインドステッキの平均監視精度率は87.33%です、このデバイスがほとんどの状況でユーザーの状態を正しく判断できることを示しています。

すべてのインターネット:アプリ + Bluetooth

最終的にはすべてのデータが携帯電話に転送されます。APPを通じて統合。同時に、Bluetooth オーディオはこのデータをユーザーにブロードキャストします。、自分の健康状態と外部環境を理解するのに役立ちます。

図 13: 統合された APP インターフェイス

目の健康全般に注意する

バリアフリー設備は多くのシナリオでますます一般的になってきていますが、これらのデバイスはより身体の不自由な人々を対象としています。暗闇の中で生活する視覚障害者にとって、さらなるバリアフリー化が必要です。

しかし、なぜならコミュニティが狭く、施設費が高額なため普及が難しい。。ブラインドパスや点字などの視覚障害者向けの設備、維持管理が不十分なため、効果が得られません。

しかし、かなりの数の個人や企業が視覚障害者を支援する活動に参加しています。。現在、主流の携帯電話ブランドのほとんどは、視覚障害者向けに特別に設計された操作方法をすでに備えています。

北京や昆明などの都市では、視覚障害者向けに映画のナレーションを行うことを目的とした「マインド・シネマ」が開設され、視覚障害者が劇場大作を鑑賞できるよう支援している。

「Minecraft」や「Hearthstone」などのゲーム コミュニティでは、視覚障害者のゲーム体験を向上させるためにバリアフリー モジュール (Mod) を開発した熱心なプレイヤーもいます。

図 14: 「心のシネマ」における盲目の観客

2023 年 6 月 6 日は、第 28 回国民眼科デーであり、テーマは「目の健康全般に注意する”。今日は第 23 回世界視力デーです。皆さんが視覚の健康に注意を払うと同時に、周囲の視覚障害のある人々に貢献できることを願っています。AIと力を合わせてバリアフリーの世界を築きましょう。

参考リンク:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7

この記事は、HyperAI Super Neural WeChat パブリック プラットフォームで初めて公開されました~