وبحسب إحصائيات منظمة الصحة العالمية، هناك 2.2 مليار شخص يعانون من ضعف البصر في العالم، منهم 285 مليون شخص يعانون من ضعف البصر و39 مليون شخص مصاب بالعمى التام. وعلاوة على ذلك، فإن هذا العدد سوف يستمر في الارتفاع مع تقدم السكان في السن.
على الرغم من أن الأشخاص ذوي الإعاقة البصرية يواجهون العديد من المضايقات، إلا أن الأجهزة المساعدة لهم تعاني من مشاكل مثل التكلفة العالية، وصيانتها الصعبة، وتشغيلها المعقد، مما يجعل من الصعب تلبية احتياجاتهم الحياتية.
ولتحقيق هذه الغاية، قام باحثون من جامعة قوانغدونغ للفنون التطبيقية وجامعة ووهان للعلوم والتكنولوجيا بتطوير مجموعة من أجهزة مساعدة المكفوفين وضعاف البصر تعتمد على إنترنت الأشياء الذكي، مما يوفر الراحة لحياة المكفوفين وضعاف البصر من خلال خوارزميات الذكاء الاصطناعي وأجهزة الاستشعار.

المؤلف | شيويه تساي

المحرر | ثلاثة خراف، برج حديدي

نُشرت هذه المقالة لأول مرة على منصة HyperAI WeChat العامة~

في عام 2019، أصدرت منظمة الصحة العالمية أول "تقرير عالمي حول الرؤية". وجاء في التقرير،هناك ما لا يقل عن 2.2 مليار شخص يعانون من ضعف البصر في العالم، منهم 285 مليون شخص يعانون من ضعف البصر و39 مليون شخص مصاب بالعمى الكامل.. بسبب النمو السكاني العالمي والشيخوخة، قد يتضاعف عدد الأشخاص الذين يعانون من ضعف البصر ثلاث مرات بحلول عام 2040.

الشكل 1:العدد التقديري للأشخاص ذوي الإعاقة البصرية في جميع أنحاء العالم

لا يستطيع الأشخاص ضعاف البصر تلقي المعلومات من العالم الخارجي من خلال نظامهم البصري ويواجهون العديد من المضايقات في حياتهم اليومية. ويواجهون صعوبة في تجنب العوائق القريبة، ولا يتمكنون من الحصول على المعلومات من الكتب أو الشاشات.

ومع ذلك، فإن الرعاية الصحية طويلة الأمد للأشخاص ذوي الإعاقة البصرية مكلفة للغاية.ومع ذلك، فإن الأجهزة المساعدة الحالية للأشخاص ذوي الإعاقة البصرية باهظة الثمن، وكبيرة الحجم، وتفاعلها ضعيف.، ومن الصعب تلبية احتياجاتهم اليومية.

لحل المشاكل المذكورة أعلاه،قام باحثون من جامعة قوانغدونغ للفنون التطبيقية وجامعة ووهان للعلوم والتكنولوجيا بتطوير مجموعة من الأجهزة المساعدة للمكفوفين وضعاف البصر تعتمد على الذكاء الاصطناعي للأشياء (AIoT)..

وتشتمل هذه المجموعة من المعدات بشكل أساسي على نظارات ذكية وعصا ذكية، بتكلفة إجمالية تبلغ حوالي 480 يوانًا.يمكنه مراقبة حالة المستخدمين والبيئة من خلال مجموعة متنوعة من أجهزة الاستشعار، ومساعدة المستخدمين على التفاعل مع البيئة وإصدار الإنذارات في المواقف الخطيرة. وقد نشرت هذه النتيجة في مجلة "إلكترونيكس".

وقد تم نشر هذه النتيجة في مجلة "إلكترونيات".

رابط الورقة:

https://www.mdpi.com/2079-9292/12/18/3760

تصميم المعدات

هندسة إنترنت الأشياء الاصطناعي: الإدراك والتفاعل

تتكون بنية إنترنت الأشياء الاصطناعي للأجهزة المساعدة للمكفوفين من ثلاث طبقات:

1.طبقة الإدراك، أي أجهزة الاستشعار والوحدات التي تجمع البيانات الخارجية؛

2.طبقة الشبكة، يستخدم إنترنت الأشياء ضيق النطاق (NB-IoT) لتوصيل البيانات، وبروتوكولي HTTP وMQTT لنقل البيانات؛

3.طبقة التطبيق، والتفاعل بشكل أساسي مع المستخدمين من خلال التطبيق وأجهزة الصوت التي تعمل بتقنية البلوتوث.

الشكل 2: مخطط بنية إنترنت الأشياء الاصطناعي

النظارات الذكية:YOLO v5 + التعرف الضوئي على الحروف

يجب أن تكون الأجهزة المساعدة للأشخاص ذوي الإعاقة البصرية مريحة وموثوقة لتلبية الاحتياجات اليومية للأشخاص ذوي الإعاقة البصرية. وللقيام بذلك، جمع الباحثون صورًا باستخدام كاميرا مجسمة، ثم قاموا بتحليل الأشياء ومسافاتها باستخدام نموذج الشبكة خفيف الوزن YOLO v5، أو قراءة النص باستخدام التعرف الضوئي على الحروف (OCR).

الشكل 3:رسم تخطيطي لهيكل النظارات الذكية

أثناء التعرف على الكائن،تقوم خوارزمية YOLO v5 بتقسيم الصورة إلى شبكة، ثم تتنبأ بالصندوق المحدد لكل خلية في الشبكة وتحدد كائنات مختلفة في الصورة أثناء إنشاء الصندوق المحدد..

تنقسم شبكة YOLO v5 بشكل أساسي إلى 4 طبقات، بما في ذلك:

1. مدخل:تستخدم لتحديد صورة الإدخال مبدئيًا؛

2. العمود الفقري:استخدام الشبكة العصبية التلافيفية (CNN) لاستخراج ميزات الصورة؛

3. رقبة:دمج ميزات الصورة وربط طبقة العمود الفقري وطبقة الإخراج؛

4. الناتج:التنبؤ بالأشياء في الصورة باستخدام إدخال المربع المحدد.

الشكل 4: بنية خوارزمية YOLO v5 في هذه الدراسة

بالإضافة إلى التعرف على الصور، يمكن لخوارزمية YOLO v5 أيضًا حساب المسافة بين المستخدم والعقبات من خلال مقارنة الصور من الكاميرا الثنائية.

الشكل 5: طريقة YOLO v5 لحساب مسافة العوائق

الشكل 6: صيغة YOLO v5 لحساب مسافة العوائق

في الصيغة، B هي المسافة بين العدسات اليسرى واليمنى للكاميرا، وf هو البعد البؤري للكاميرا، وd هو المنظر بين النقاط اليسرى واليمنى المقابلة.

يتم تحقيق وظيفة OCR للنظارات الذكية عن طريق استدعاء Baidu OCR API. تتضمن عملية التعرف الضوئي على الحروف (OCR) الحصول على الصور، وتقليل الضوضاء، والثنائية، واستخراج منطقة النص، وتجزئة الأحرف، والتعرف على الأحرف، والتحسين، وإخراج الصوت.

الشكل 7: مخطط تخطيطي لعملية التعرف الضوئي على الحروف

عصا ذكية للمكفوفين:مراقبة الصحة والاستشعار البيئي

أحد الوظائف الرئيسية للعصا الذكية هي مراقبة الصحة.ولذلك، يتم دمج أجهزة استشعار مثل معدل ضربات القلب ودرجة حرارة الجسم ووحدات جمع البيانات في العصا العمياء.. لتحقيق القياس بدون تلامس، يستخدم مستشعر معدل ضربات القلب التصوير الضوئي (PPG) للمراقبة، ويستخدم مستشعر درجة حرارة الجسم الأشعة تحت الحمراء للمراقبة.

الشكل 8: مخطط تخطيطي لهيكل العصا الذكية

بالإضافة إلى ذلك، لتعزيز إدراك الأشخاص ذوي الإعاقة البصرية للبيئة،كما يدمج العصا أيضًا أجهزة استشعار درجة الحرارة والرطوبة والوضعية. يتكون مستشعر الوضع من مقياس تسارع وجيروسكوب، ويراقب ما إذا كان المستخدم معرضًا لخطر السقوط عن طريق حساب تسارع المستخدم المشترك (ACLR).

إذا كان المستخدم قريبًا جدًا من عائق أو اكتشف مستشعر الوضعية أن المستخدم قد يسقط، فستصدر العصا إنذارًا من خلال الاهتزاز والجرس.

الشكل 9: نظام إحداثيات ثلاثي الأبعاد لاكتشاف السقوط

النتائج التجريبية

التعرف على الصور:الأشياء والمسافة

وأجرى الباحثون 20 اختبارًا لقدرات الجهاز على التعرف على الأشياء في بيئات داخلية وخارجية شائعة. وتظهر النتائج أنيمكن لخوارزمية YOLO v5 التعرف بدقة على الكائنات الموجودة في البيئة وتقدير المسافة بين الكائنات والمستخدم في البيئات الداخلية والخارجية.

الشكل 10: نتائج الاختبار في البيئة الداخلية

الشكل 11: نتائج الاختبار في البيئة الخارجية

ومع ذلك، يزداد معدل الخطأ مع زيادة عدد الكائنات في الصورة، وخاصة بالنسبة للأشياء ذات الميزات المتشابهة، مثل التلفزيون والشاشة، أو الدراجة والدراجة النارية.وأخيرًا، بلغت دقة التعرف على النظارات الذكية 92.16%.

حتى لو قامت خوارزمية YOLO v5 بتحديد كائن بشكل خاطئ، فما زال بإمكانها الحكم على المسافة. بالمقارنة مع التطبيقات التجارية،معدل الانحراف لخوارزمية YOLO v5 في الحكم على المسافة يتراوح بين 0.28-6.32%، تزداد مع المسافة.

وبناء على هذا الحكم، عندما تكون المسافة بين المستخدم والشيء أقل من 0.7 متر، فإن العصا الذكية ستصدر إنذارًا وتتولى التحكم في وحدة التحكم الدقيقة لتجنب العوائق.

التعرف الضوئي على الحروف:الدقة قريبة من 100%

وفي الوقت نفسه، قام الباحثون باختبار أداء التعرف الضوئي على الحروف (OCR) للنظارات الذكية باستخدام 10 فقرات من النص. في ظل ظروف الاختبار، تبلغ دقة OCR للنظارات الذكية 100%. على الرغم من أن حركة الرأس أثناء القراءة قد تسبب بعض أخطاء التعرف،لكن دقة OCR الإجمالية لا تزال 99.91%.

الشكل 12: نتائج التعرف الضوئي على الحروف من النظارات الذكية

مراقبة الصحة:معدل ضربات القلب ودرجة حرارة الجسم

تسجل وحدة مراقبة معدل ضربات القلب معدل ضربات قلب المستخدم في الوقت الفعلي من خلال PPG. خلال الاختبار، سجلت العصا الذكية معدلات ضربات القلب لأشخاص من مختلف الأعمار أثناء ثباتهم ومشيهم.معدل الانحراف بين النتائج وأساور المعصم التجارية يتراوح بين 0.72-3.52%.

الجدول 1: نتائج مراقبة معدل ضربات القلب لمجموعات تجريبية مختلفة

في اختبار درجة الحرارة، بالمقارنة مع موازين الحرارة الطبية للجبين،الحد الأقصى لمعدل الانحراف لوحدة الاختبار هو 0.19% . وتظهر هذه النتيجة أنه حتى على العصا الذكية، يمكن لمستشعر درجة حرارة الجسم بالأشعة تحت الحمراء مراقبة درجة حرارة جسم المستخدم بدقة دون أن يزعجه البيئة.

الجدول 2: نتائج مراقبة درجة حرارة الجسم للمجموعات التجريبية المختلفة

مراقبة الوضعية:المشي، الصعود والنزول على السلالم

يمكن للعصا الذكية مراقبة وضعية المستخدم من خلال أجهزة قياس التسارع وأجهزة قياس الاتجاهات وإصدار إنذار في حالة احتمال السقوط.تم اختبار نتائج مراقبة العصا أثناء سير المستخدم وصعوده ونزوله على السلالم في التجربة.وتنقسم النتائج إلى 3 فئات:

1. صحيح: نتيجة مراقبة العصا تتوافق مع حالة المستخدم؛

2. غير صحيح: اكتشفت العصا خطر السقوط، لكن المستخدم كان لا يزال في حالة طبيعية؛

3. عدم الاستجابة: تظهر العصا حالة طبيعية، ولكن المستخدم معرض لخطر السقوط.

الجدول 3: دقة اكتشاف السقوط في ظل ظروف تجريبية مختلفة

في سيناريوهات مختلفة،متوسط دقة مراقبة العصا الذكية هو 87.33%، مما يشير إلى أن هذا الجهاز يمكنه إصدار أحكام صحيحة حول حالة المستخدم في معظم الحالات.

إنترنت كل شيء:تطبيق + بلوتوث

وأخيرا سيتم نقل كافة البيانات إلى الهاتف المحمول.ومتكاملة من خلال التطبيق. في نفس الوقت،سوف يقوم الصوت عبر البلوتوث ببث هذه البيانات للمستخدم، مما يساعدهم على فهم حالتهم الصحية وبيئتهم الخارجية.

الشكل 13: واجهة التطبيق المتكاملة

التركيز على صحة العين العامة

على الرغم من أن المرافق الخالية من العوائق أصبحت تحظى بشعبية متزايدة في سيناريوهات متعددة، فإن هذه الأجهزة تستهدف بشكل أكبر الأشخاص ذوي القدرة المحدودة على الحركة. بالنسبة للأشخاص ضعاف البصر الذين يعيشون في الظلام، فإنهم بحاجة إلى المزيد من المرافق الخالية من العوائق.

ولكن لأنعدد السكان قليل وتكلفة المرافق مرتفعة، لذا من الصعب ترويج هذه المرافق.. مرافق مثل المسارات المكفوفين وبرايل لتسهيل الأمور على ضعاف البصر،نقص الصيانة والإدارة، لا يمكن أن تكون فعالة.

لكن،لقد ساهم العديد من الأفراد والشركات في مساعدة المكفوفين.. في الوقت الحالي، تمتلك معظم العلامات التجارية للهواتف المحمولة الرئيسية طرق تشغيل مصممة خصيصًا للأشخاص الذين يعانون من ضعف البصر.

وفي مدن مثل بكين وكونمينغ، تم افتتاح "دور سينما في العقل" لعرض الأفلام للمكفوفين وضعاف البصر، ومساعدتهم على مشاهدة الأفلام الرائجة في دور العرض.

في مجتمعات الألعاب مثل "Minecraft" و"Hearthstone"، هناك أيضًا لاعبون متحمسون قاموا بتطوير وحدات خالية من العوائق (Mods) للمساعدة في تحسين تجربة اللعب للأشخاص ضعاف البصر.

الشكل 14: الجمهور المكفوفين في "السينما في العقل"

يوم 6 يونيو 2023 هو اليوم الوطني الثامن والعشرون لرعاية العيون، تحت شعار "التركيز على صحة العين العامةاليوم هو اليوم العالمي الثالث والعشرون للبصر. آمل أن يهتم الجميع بصحة البصر وأن يساهموا في مساعدة الأشخاص ضعاف البصر من حولهم.العمل مع الذكاء الاصطناعي لبناء عالم يمكن الوصول إليه.

روابط مرجعية:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7