الثورة اللمسية للذكاء المتجسد في المستقبل! توفر مستشعرات TactEdge للروبوتات إدراكًا دقيقًا للمس، مما يتيح اكتشاف عيوب النسيج والتحكم في التشغيل الماهر

في مخيلتنا، يجب أن يتمتع الروبوت المثالي بنفس الرؤية واللمس والسمع والشم والتذوق مثل البشر.

إن إدراك وفهم العالم المادي من خلال "الحواس الخمس" المذكورة أعلاه واستخدام دماغ الذكاء الاصطناعي القوي لتحقيق استجابة دقيقة للبيئة هو جوهر بناء الروبوتات الذكية، وتوافق شركة التكنولوجيا العملاقة تيسلا أيضًا على هذا.

على سبيل المثال، يتمتع روبوتهم البشري من الجيل الثاني "أوبتيموس" بقدرة إدراكية محسنة ويمكنه القيام بعملية بارعة تتمثل في قرص بيضة بإصبعين.إن هذا الإدراك الدقيق للأشياء والتحكم الدقيق في القوة يرجع إلى أجهزة الاستشعار اللمسية الموجودة على أطراف أصابعه العشرة.

يستخدم البشر حاسة اللمس لتقييم، على سبيل المثال، حجم وشكل الأشياء، كما تفعل الروبوتات أيضًا. بمساعدة أجهزة الاستشعار اللمسية، يمكن للروبوتات فهم سلوك التفاعل بين الأشياء في العالم الحقيقي بشكل أفضل والحصول على معلومات لمسية مثل الملمس ودرجة الحرارة والصلابة وتشوه الأشياء المستهدفة، وذلك لتحقيق تحديد المواقع الدقيق للأشياء وإجراء عمليات مختلفة (مثل الإمساك).باختصار، التشغيل لا ينفصل عن حاسة اللمس، والاستشعار اللمسي لديه إمكانات تطبيقية كبيرة في مجال الروبوتات.

في 13 ديسمبر، تم افتتاح الحدث الثالث للمشاركة عبر الإنترنت "القادمون الجدد على الحدود" الذي تستضيفه Embodied Haptic Community وتنظمه شركة HyperAI رسميًا.تمت دعوة تشانغ شي شين، طالب دكتوراه في السنة الرابعة بجامعة الصين للعلوم الجيولوجية (بكين)، لإلقاء خطاب حول موضوع "تصميم وإعداد وتشغيل الإدراك الروبوتي لأجهزة استشعار TactEdge".لقد قدمنا مقدمة مفصلة لتاريخ التكرار، وتحسين الأجهزة، والمحاكاة البصرية واللمسية، وعمليات إدراك الروبوت للمستشعر البصري واللمسي TactEdge.

قام HyperAI بتجميع وتلخيص المشاركة المتعمقة للدكتور Zhang Shixin دون انتهاك النية الأصلية.

سجل ترقية مستشعر اللمس البصري TactEdge

في الماضي، كان الناس يستخدمون أجهزة استشعار لمسية إلكترونية لحساب المعلومات اللمسية، ولكن وحدات الاستشعار لهذا النوع من أجهزة الاستشعار اللمسية موزعة بشكل متفرق، كما أن الدقة عند رسم خرائط المعلومات اللمسية منخفضة نسبيًا. لتحسين جودة المعلومات اللمسية، قدم الباحثون آلية استشعار جديدة:تستخدم أجهزة الاستشعار اللمسية التي تعتمد على مبادئ التعرف البصري (المعروفة أيضًا باسم أجهزة الاستشعار اللمسية البصرية) الصور كوسائط استشعار وتحسن جودة اللمس بشكل كبير، خاصة من حيث الدقة المكانية.يظهر تطور أجهزة الاستشعار البصرية واللمسية في الشكل التالي:

بعد القرن العشرين، اقترح الباحثون طريقة جديدة للاستشعار البصري واللمسي. يمكن تلخيص عملهم في ثلاث وحدات رئيسية: وحدة الاتصال، ووحدة الكاميرا، ووحدة الإضاءة، والتي تستخدم لتوحيد آلية الاستشعار البصري واللمسي.وتتضمن وحدة الاتصال من بينها طبقة تحديد وطلاء وطبقة وظيفية لنقل المعلومات اللمسية (مثل الطبقة الحساسة لدرجة الحرارة)، ومن ثم يتم تصور المعلومات اللمسية من خلال تقنية التصوير العكسي.

بدأ فريقنا في البحث في مجال المستشعرات البصرية واللمسية في عام 2014، وقد مر الآن 10 أعوام. خلال هذه الفترة،لقد قمنا باستكشاف وتطوير أجيال متعددة من تقنية الاستشعار ونطلق عليها تقنية اللمس المتطورة، TactEdge.كما هو موضح في الشكل التالي:

*يعتمد الجيل الأول من TactEdge على تصميم طلاء.من خلال عمليات الرش المعدني والتغطية، تم إعداد طبقة معدنية رقيقة ومجموعة علامات قياسية، والتي تتمتع بقدرات استشعار لمسية ثنائية النمط.

* الجيل الثاني من TactEdge يضيف مواد حرارية إلى مادة الطلاء أو العلامة.نظرًا لأن كل مادة لها عتبة درجة حرارة مختلفة، يمكنك رؤية تغير اللون من الفاتح إلى الداكن عندما ترتفع درجة الحرارة أو تنخفض، وبالتالي اكتساب إدراك محلي لدرجة الحرارة.

* الجيل الثالث من TactEdge هو برنامج يد متكامل مع أجهزة استشعار بصرية ولمسية.يتم تتبع وضع الانحناء باستخدام الرؤية المضمنة لمراقبة حالة تشوه التجويف الداخلي.

* الجيل الرابع من TactEdge:تُستخدم طبقة الطلاء لرسم خرائط الملمس، بينما تنفذ طبقة العلامة تتبع القوة، وتكون الطبقة الحساسة للحرارة مسؤولة عن استشعار درجة الحرارة. ومن أجل تحقيق الإدراك المتعدد الوسائط، قمنا بدمج هذه الطبقات الوظيفية. يجمع الجيل الرابع من TactEdge بين الطبقة الحرارية والطلاء لتحقيق إدراك متعدد الوسائط للملمس ودرجة الحرارة.

* حقق الجيل الخامس من TactEdge تحسينات كبيرة في تحسين الأبعاد الشعاعية للمستشعر ومتانة التصوير اللمسي.بالإضافة إلى ذلك، يتم دمج طبقة العلامة مع الطلاء لتحقيق إدراك ثنائي النمط للقوة والملمس.

* يستخدم الجيل السادس من TactEdge آلية استشعار لمسية بصرية جديدة تسمى TIRgel،من خلال تنفيذ الانعكاس الداخلي الكلي داخل الإيلاستومر، يتم إنشاء معلومات ضوئية لتمثيل المعلومات اللمسية، ويتم تقديم كاميرا قابلة لتعديل التركيز لتحويل الرؤية الداخلية والخارجية.

تحسين الأجهزة

في عملية تطوير المستشعر في السنوات الأخيرة، ركزنا على تحسين الأجهزة.على سبيل المثال، في عام 2021، قمنا بتلخيص تقنيات تحضير المستشعرات السائدة الحالية (مثل عملية تحضير الإيلاستومر، وعملية تحضير طبقة الوسم، وعملية تحضير الطلاء، وشكل هيكل الدعم)، وقمنا بترميز العملية على هذا الأساس، ولخصنا 7 أهداف تصميمية، كما هو موضح في الشكل أدناه. تعتمد هذه الأهداف على متطلبات تطبيق أجهزة الاستشعار البصرية واللمسية.

وبناءً على متطلبات الاستشعار هذه، أضفنا قيودًا مختلفة وبنينا العلاقة الجوهرية والإطار المنطقي بين العملية وأهداف التصميم. وبناءً على ذلك، قمنا بإنشاء نظام صياغة العملية بالكامل وقمنا بتطوير واجهة مرئية لنظام صياغة العملية استنادًا إلى QT. كما هو موضح في الشكل أدناه، يمكن للمستخدمين إدخال أهداف التصميم في المربع الأخضر. وستتوافق خلفية النظام مع عملية إعداد معقولة بناءً على هذه الأهداف لمساعدة الفريق في تطوير أجهزة الاستشعار. ومع ذلك، يتم هنا تقديم المساعدة في عملية التحضير الموصى بها فقط. لا تزال بعض المتطلبات في السيناريوهات الخاصة تتطلب تحسينًا محليًا محددًا للعملية.

تحسين عملية الإيلاستومر: عملية تحضير مبسطة + تكلفة أقل

على سبيل المثال، تشمل عملية تحضير الإيلاستومرات المستخدمة بشكل شائع عملية القولبة، وخلط السيليكون، والصب، والتفريغ، والتسخين، وإزالة القالب، تليها عمليات طلاء مختلفة. هذه عملية تحضيرية شائعة للإيلاستومر. في الإنتاج الضخم، مع الأخذ بعين الاعتبار وقت التسخين الطويل، يمكن استخدام مادة سيليكون خاصة ذاتية المعالجة، والتي لا تتطلب تسخينًا إضافيًا بعد المعالجة والتفريغ. بالإضافة إلى ذلك، ومن أجل تقليل تكلفة تحضير إلاستومرات المستشعر، اقترح فريقنا أيضًا عملية التصفيح.

تحسين عملية الطلاء: مقاومة التآكل واللدونة

في الوقت الحاضر، يتم تقسيم مخططات تحضير الطلاء لأجهزة الاستشعار بشكل أساسي إلى عملية الرش وعملية الرش المعدني. سوف تتساقط الطلاءات المعدنية تمامًا وتتآكل بعد اللمس المتكرر. تتمتع الطلاءات التي يتم رشها بمقاومة أكبر للتآكل، ولكنها قد تتضرر جزئيًا عند مواجهة أشياء حادة. لذلك، فإن جودة الطلاء ومقاومة التآكل هي قضايا لا يمكن تجاهلها. في الماضي، كان تحضير الطلاء أكثر ميلاً إلى الالتصاق الميكانيكي. في السنوات القليلة الماضية، اقترح بعض الناس مفهوم الالتصاق الكيميائي، أي ربط مواد الطلاء بسطح الإيلاستومرات غير المعالجة لتشكيل روابط كيميائية قبل المعالجة لتعزيز مقاومة التآكل والالتصاق.

عملية طلاء الذهب: تحسين مقاومة التآكل

ردًا على ذلك، اقترحنا حلًا جديدًا لتحسين الطلاء - عملية طلاء الذهب، لتحسين مقاومته للتآكل. تتمثل العملية الرئيسية في ربط الرقاقة المعدنية بالإيلاستومر لتشكيل طبقة رقيقة. يحقق هذا الحل تحسينًا مزدوجًا لقوة الالتصاق، أي أن بيروكسيد الهيدروجين الموجود على سطح الرقاقة المعدنية وشريط الأكريليك (ميثيل ميثاكريلات) يحفزان تفاعل البلمرة المتسلسل لتكوين رابطة كيميائية. بالإضافة إلى ذلك، يشكل الإيلاستومر والرقائق المعدنية قوى فان دير فالس.

بالمقارنة مع عمليات الرش التقليدية ورش المعادن، فإن طلاء الذهب له مزايا كبيرة من حيث تكلفة الأجهزة وتكلفة التحضير وخسارة الوقت. على سبيل المثال، يتم تبسيط عملية الرش وعناء تنظيف مسدس الرش إلى حد كبير، مما يؤدي إلى تقصير دورة تحضير المستشعر. بالإضافة إلى ذلك، فإن العملية الجديدة لا تعمل على تحسين مقاومة التآكل للطبقة الوظيفية فحسب، بل يمكن أيضًا، من خلال التشغيل الماهر، تقصير وقت تحضير وحدة الاتصال بأكملها إلى 5-10 دقائق. ميزة أخرى مهمة لعملية رقائق الذهب هي سهولة صيانتها. يتم عادة تثبيت سطح الطلاء بطبقة واقية، مثل القماش أو الشريط الطبي. إن سمك هذه الطبقات الواقية يؤثر على حساسية اللمس ورسم الملمس الدقيق، ولكن عملية الرقائق الذهبية تسمح بإجراء عمليات ثانوية على الطلاء التالف، مما يساعد على الصيانة.

عملية سحب الأسلاك: تحسين اللدونة

ومع ذلك، في التطبيقات الفعلية، وجدنا أنه نظرًا لأن الرقاقة المعدنية نفسها عبارة عن طلاء مستمر، فإن الشقوق تنشأ بسهولة أثناء عملية الضغط. نحن نعتقد أن التراكم المستمر لجزيئات رقائق المعدن يمكن أن يشكل طبقة مستمرة على نطاق واسع، وبالتالي تحسين ليونة الطلاء. ولذلك، قمنا بتحسين عملية طلاء الذهب واقترحنا عملية سحب الأسلاك.

نقوم بتمديد الرقاقة المعدنية. نظرًا لأنه يحتوي على أنظمة انزلاق غنية، يمكن تكوين جزيئات دقيقة أثناء عملية التشوه البلاستيكي. كلما زادت قوة الشد، كلما كانت الجزيئات أدق. تتمتع المعادن المختلفة بأنظمة انزلاق مختلفة وأحجام جزيئات مختلفة، لذلك استخدمنا رقائق النحاس ورقائق الألومنيوم ورقائق الفضة لإجراء التجارب. يظهر التركيب الدقيق تحت المجهر الإلكتروني ما يلي:

* رقائق النحاس: نظرًا لأن نظام الانزلاق ليس غنيًا مثل نظام رقائق الألومنيوم ورقائق الفضة، فإن الجسيمات تكون خشنة نسبيًا أثناء عملية التمدد، مما يؤثر على استمرارية التصوير اللمسي.

* رقائق الألومنيوم ورقائق الفضة: تكون الجسيمات بعد التمدد دقيقة للغاية، مع توزيع الجسيمات على نطاق النانو، مما يحسن بشكل كبير الدقة المكانية للتصوير اللمسي.

لقد قمنا بمقارنة الطلاء المصقول مع عملية الرش السائدة حاليًا والرش المعدني. كما هو موضح في الشكل أدناه، فإن عمليتنا هي الأفضل من حيث تأثير رسم الملمس.

كما هو موضح في الشكل أدناه، فإن الطلاءات الرقيقة تنكسر بسهولة أثناء الضغط، وتكون سرعة ومدى التمزق أسرع عند الضغط عليها بواسطة جسم حاد. ومع ذلك، أظهر الطلاء المصقول الحبيبي مقاومة أقوى للتشوه غير المنتظم، مما يشير إلى أن عملية التحبيب تعمل على تحسين ليونة الطلاء الرقيق.

من أجل تقييم مقاومة التآكل للطلاء بعد تعزيز الالتصاق المزدوج، تم إجراء اختبارات مقاومة التآكل وتم تسجيل التغيرات في البنية الدقيقة للطلاء. وتظهر النتائج أن جزيئات الطلاء المصقول تصبح أدق أثناء عملية التآكل، وأن التآكل العام موحد؛ في حين أن الطلاء المرشوش يكون لديه التصاق أضعف، ويتساقط جزئيًا أثناء عملية التآكل ويتراكم في المنطقة المحيطة، مما يشكل الحفر.

تحسين التصوير اللمسي البصري: تحسين قوة التصوير اللمسي البصري

بالإضافة إلى ذلك، يعمل الطلاء المحسن أيضًا على تعزيز قوة التصوير البصري واللمسي إلى حد ما.

في الاستشعار البصري اللمسي، تكون مسافة التصوير صغيرة جدًا، والعديد منها عبارة عن تصوير كبير. في هذه الحالة، سيؤدي كل ضغط إلى تغيير مسافة التصوير، مما يؤدي إلى انحراف التصوير. بالإضافة إلى ذلك، قد يكون هناك فرق بين مسافة التصوير المحددة مسبقًا عند تصميم المستشعر ومسافة التصوير أثناء الاستخدام الفعلي، وكلاهما سيؤدي إلى عدم وضوح التصوير بشكل كافٍ. ولحل هذه المشاكل، قمنا بتطوير نظام تعديل التصوير، والذي يتضمن وحدة معايرة ووحدة تركيز.

في نظام ضبط التصوير، تعتمد وحدة معايرة التصوير استراتيجية بحث عالمية لتقدم فترة الضبط وتقصير مسافة التركيز، مع المساعدة في تحديد قيم الضبط المعقولة كعلامات. تستخدم وحدة التركيز طريقتين: طريقة عمق التركيز المبنية على الملاءمة ثلاثية النقاط وطريقة عمق إزالة التركيز المبنية على التعلم العميق. الأول يتمتع بدقة عالية ولكن سرعته بطيئة، بينما الثاني أسرع ولكن دقته أقل قليلاً. إنها طريقة تعديل من البداية إلى النهاية.

ونظرًا لأن الاستشعار البصري اللمسي يعتمد على آليات الصورة، فإننا نستخدم بشكل أساسي وضوح الصورة كمعيار للتركيز. كما هو موضح في الشكل أدناه، يجب أن يكون منحنى تقييم وضوح التصوير المثالي غير متحيز وأحادي النمط (المنحنى الأحمر). ومع ذلك، في بيئات التركيز الفعلية، غالبًا ما يكون الضوء غير متساوٍ (منحنى أزرق) وسيقع في ذروة التركيز المحلية.

يمكن أن يؤدي الاستشعار البصري واللمسي المستخدم في بيئة مغلقة إلى تقليل عوامل التداخل الخارجية وجعل منحنى التصوير أقرب إلى الحالة المثالية. ولتحقيق هذه الغاية، قمنا ببناء منصة معايرة واختبار منحنى التصوير للاستشعار البصري اللمسي لاستكشاف طريقة حساب تدرج الصورة المناسبة لهذا المستشعر. تظهر النتائج أن طريقة حساب تدرج Tenengrad أكثر ملاءمة للمستشعر وأن منحنى التجهيز يحتوي على الخصائص الخمس الرئيسية المقترحة، وخاصة عدم التحيز والأحادية النمط، والتي تعد حاسمة لتقييم التركيز اللاحق.

بشكل عام، نقوم بتعيين قيمة التركيز الأولية بشكل عشوائي، وبعد الضغط قليلاً، نقوم بمعايرة التصوير للحصول على صورة واضحة، والتصوير لا يزال ضمن النطاق المقبول.

بالإضافة إلى ذلك، يجب أن يؤخذ مجال الاستشعار المتغير ديناميكيًا في الاعتبار أثناء مرحلة تصميم المستشعر بحيث يمكن توسيع مسافة التصوير أو تقليلها وفقًا للسيناريو المحدد. مع زيادة مسافة التصوير، سوف يتوسع مجال الاستشعار أيضًا، باستخدام التركيز على التصوير بالاستجابة الديناميكية لتبسيط التصميم العام. كما هو موضح في الشكل التالي:

لاختبار دقة التركيز، أجرينا تجارب باستخدام ثلاثة أشياء ذات كثافة نسيجية مختلفة. وأظهرت النتائج أن طريقتي المعايرة كانتا قريبتين من النتائج المتوقعة، مع دقة تعديل التصوير بأكثر من 99.5%، والتركيز في الوقت الحقيقي في مهام التعرف الديناميكي.

تحسين طبقة استشعار درجة الحرارة: تصميم نموذجي موزع

من حيث التصميم الأمثل لطبقة استشعار درجة الحرارة، هناك أبحاث قليلة نسبيًا في الوقت الحاضر، والطريقة السائدة هي إضافة مواد حساسة لدرجة الحرارة إلى الطبقة الوظيفية للمستشعر، على سبيل المثال، إضافة مسحوق حراري وزيت حراري. وبناءً على نتائج التصوير الأولية، فإن معلومات اللون لهذه الطريقة يتم دمجها مع معلومات الملمس. ومع ذلك، لا يوجد ارتباط مباشر بين درجة الحرارة والملمس. من غير المعقول دمج هذه الميزات غير المرتبطة في الصورة دون استخراج الميزات أو فصلها بشكل صحيح ثم إدخالها في النموذج للتعرف عليها.

ولمعالجة هذه المشكلة، قمنا بتنفيذ تصميم نموذجي موزع للطبقة الحساسة للحرارة والطلاء، حيث تتطابق أحجام المنطقتين مع آلية استخراج الميزة. وسوف نشرح ذلك بالتفصيل لاحقًا.

تحسين الهيكل الداخلي: يعمل التصغير على تحسين تكامل المستشعر

نظرًا للحاجة إلى تصغير حجم أجهزة الاستشعار البصرية واللمسية، فإننا نأمل في تقليل حجمها لتحسين تكامل أجهزة الاستشعار. بفضل تطوير تكنولوجيا التصوير المجهري، تمكنا من تقليل حجم الصورة بشكل فعال وتجميع البنية الداخلية للمستشعر. من خلال دمج المكونات التي لا يتم تجهيزها في كثير من الأحيان، يمكننا تسهيل التجميع والتفكيك وتحقيق أقصى استفادة من المساحة. من خلال الجمع بين موصلات مختلفة، يمكن دمج مستشعر اللمس البصري المصغر في العديد من المعالجات لتحقيق التكامل العالي والتوافق العالي.

المحاكاة البصرية واللمسية

على الرغم من أن طريقتنا تعمل على تحسين مقاومة التآكل لطلاء المستشعر اللمسي البصري، إلا أن التآكل سيحدث بعد آلاف الاستخدامات. في هذه الحالة، نحتاج إلى إجراء جمع بيانات على نطاق واسع، وليس من الواقعي الاعتماد فقط على العمل اليدوي. لذلك، أجرينا بحثًا حول المحاكاة البصرية واللمسية، بالاعتماد بشكل أساسي على لغة Taichi وطريقة MLS-MPM لمحاكاة تشوه الأجسام المرنة.

تستخدم المحاكاة المرنة بشكل أساسي جزيئات حبيبية لتمثيل الجسم المرن والمسنن، وتنقل الخصائص الفيزيائية للجسيمات (مثل الزخم والكتلة) إلى الشبكة أثناء كل خطوة من خطوات المحاكاة. يتم بعد ذلك تحديث حالة الجسيمات باستخدام الحالة السابقة لعقد الشبكة والجسيمات. بعد اكتمال المحاكاة، يمكن الحصول على معلومات العمق. يمكن أيضًا توصيل Tacchi بالروبوتات الأخرى لمحاكاة المفاصل. أثناء عملية الضغط، سوف تتغير الجسيمات إطارًا تلو الآخر، وفي النهاية سيتم تشكيل خريطة عمق الجسيمات وتقديمها. علاوة على ذلك، في Touch 2.0، أضفنا آلية لنقل المعلومات المتبادلة بين الجسيمات والشبكات، وقمنا بتحسين محاكاة الكائنات المنزلقة، واستخدمنا تتبع الأشعة لتعزيز واقعية العرض، مما يجعل الإصدار الجديد أكثر دقة في التفاصيل من Touch 1.0.

عملية الإدراك الروبوتي

بالاعتماد على الأجهزة والمحاكاة، تتوسع أجهزة الاستشعار البصرية واللمسية في مجالات إدراك مختلفة. يتم استخدام جهاز TactEdge الخاص بنا لحل مشاكل التعرف في مجالات مختلفة. ونحن نبذل أيضًا بعض المحاولات المثيرة للاهتمام في عمليات الروبوت.

التعرف على القماش: يمكن استخدامه للكشف عن عيوب القماش

نظرًا لأن الأقمشة تتميز بملمس ناعم وخصائص هندسية مميزة، فقد تم استخدامها في الأيام الأولى للتحقق من تأثير رسم خرائط الملمس لأجهزة الاستشعار البصرية واللمسية. ومع ذلك، يقوم مستشعر اللمس البصري المغلف بتصفية معلومات اللون عند الضغط على القماش. وعلى الرغم من استخلاص المعلومات الهندسية بطريقة غير مباشرة، فإن اللون مهم بنفس القدر بالنسبة للنسيج. ولتحقيق هذه الغاية، قمنا بمقارنة أداء أجهزة الاستشعار المطلية وأجهزة الاستشعار البصرية واللمسية من الجيل السادس على عينات لها نفس الملمس ولكن بألوان مختلفة. كما هو موضح في الشكل أدناه، تم تحسين دقة مستشعر الطلاء بشكل كبير بعد دمج الرؤية واللمس، ويمكنه الحصول على المعلومات البصرية واللمسية.

يعد اكتشاف عيوب النسيج أمرًا بالغ الأهمية لأن العيوب يمكن أن تؤدي إلى انخفاض القيمة 45%—65%. سيؤثر نمط صباغة القماش بشكل خطير على تنوع وتعقيد الخوارزمية. اللمس، باعتباره إحدى القدرات الإدراكية المهمة لدى البشر، لا يتأثر بلون سطح الأشياء ويمكنه مساعدة البصر لمساعدتنا على إدراك الأشياء. ولهذا السبب، قمنا بإدخال اللمس في اكتشاف عيوب القماش واستخدمنا 9 عينات من القماش للتحقق المتبادل. وتظهر النتائج أن دقة التعرف في الوضع اللمسي أعلى من تلك الموجودة في الوضع البصري، وخاصة فيما يتعلق بالتعرف على بعض القوام الخاصة.

نظرًا لأن معلومات نسيج القماش هي المهيمنة وتؤثر على تحديد الأجزاء المعيبة، فقد قدمنا آلية انتباه للتركيز على المناطق المعيبة الرئيسية وتعزيز دقة التعرف على الأجزاء المعيبة.

التعرف على الأشياء الشفافة: تصل دقة التعرف على الزجاج إلى 99% أو أعلى

بالإضافة إلى الأقمشة، يعد التعرف على نسيج الأشياء الشفافة أمرًا صعبًا للغاية. بسبب خصائصها الشفافة وتأثير الضوء المنعكس، سيكون هناك سوء تقدير في المواقف البصرية. لذلك، قمنا بتقديم آلية لمسية، وجمع البيانات اللمسية، وإنشاء منصة لمسية. في أكواب الزجاج المجمعة، مع الأخذ في الاعتبار تأثير خصائص درجة حرارتها الخاصة، نقوم بضبط درجة الحرارة عن طريق إضافة الماء الساخن أو مكعبات الثلج، وجمع الصور اللمسية، ومعالجتها إلى الشكل اللمسي المطلوب.

كما ذكرنا سابقًا، عادةً ما يتضمن التعرف اللمسي معلومات حول درجة الحرارة والملمس. الطريقة الشائعة للتعرف هي تحديد الاثنين بشكل منفصل ودمج نماذج فردية مختلفة لتعزيز استخراج وفصل الميزتين، ولكنها قد تسبب اندماجًا غير منتظم.

لذلك، اقترحنا آلية استخراج ميزات المنطقة الهرمية. تضمن هذه الآلية توزيعًا إقليميًا للطبقة الحساسة للحرارة وطبقة درجة الحرارة وفقًا لحجم محدد، ومطابقة هذا الحجم المحدد مع حجم الالتفاف، وتحقيق استخراج ميزة مستقلة في كل منطقة أثناء عملية انزلاق الالتفاف، مما يمكن أن يتجنب استخراج الاندماج المختلط. بالإضافة إلى ذلك، أثناء استخراج الميزات الإقليمية، ستشكل كل منطقة نموذجية في خريطة الميزات اللاحقة تعيينًا نموذجيًا مع المنطقة الأولية، وبالجمع بين معالجة المتجهات، يمكن تحقيق المعالجة المتوازية الموزعة للميزات النموذجية غير ذات الصلة.

مع الأخذ في الاعتبار صعوبات التعلم المختلفة لميزات الملمس وميزات درجة الحرارة، قمنا أيضًا بدمج آلية التعرف الهرمي لتعيين وحدات الشبكة العميقة المختلفة لتعميق معالجة المعلومات. يمكن لهذه الآلية الهرمية أن تتعلم الميزات المعقدة بفعالية.

كما هو موضح في الشكل أدناه، يفشل النموذج الفردي التقليدي في معالجة معلومات الملمس ودرجة الحرارة بشكل فعال. لذلك، في التعرف الفردي، تكون دقة التعرف على درجة الحرارة منخفضة. في التعرف الشامل، نظرًا لأن التعرف على نسيج الصورة هو المسيطر، يقوم النموذج بربط الميزات غير ذات الصلة ورسمها قسرًا، مما يحسن التعرف على درجة الحرارة. ومع ذلك، تحافظ آليتنا (LRFE-Net) على دقة ثابتة في التعرف الشامل والفردي. بالإضافة إلى ذلك، تعمل طريقتنا أيضًا على تحسين كفاءة الوقت مقارنةً بالتعرف على النماذج المتعددة.

باختصار، نحصل على سمات مظهر الأشياء الشفافة في الوضع المرئي وسمات ملمسها أو درجة حرارتها في الوضع اللمسي. بعد ذلك، يمكننا استخدام دمج القرار لدمج السمات التي تم الحصول عليها من هذين الوضعين والعمل معًا على التعرف على الكائنات الشفافة. على سبيل المثال، نجحت طريقتنا في تحقيق دقة التعرف البصري واللمسي بأكثر من 99% للأكواب الزجاجية.

التطبيقات الزراعية: اختبار جودة الفاكهة

وفي المجال الزراعي، قمنا أيضًا بتوسيع نطاق الاستشعار البصري واللمسي لاختبار جودة الفاكهة، باستخدام الاختلافات في التشوه لتقييم نعومة وصلابة الفاكهة ودرجة التحلل المحلي.

كما أن الأشياء ذات الصلابة المختلفة تتشوه بشكل مختلف عندما يتم تطبيق الضغط عليها، هناك أيضًا علاقة بين العلامة والقوة. من المرجح أن يتطلب تمثيل آليات الاتصال الخاصة بحاسة اللمس بشكل كامل مجموعات بيانات ضخمة ونماذج معقدة. ومع ذلك، في مهام التشغيل الفعلية، ليس من الضروري قياس قيمة القوة بدقة. إن فهم اتجاه تشوه نقطة التلامس كافٍ لتلبية احتياجات مهام معينة. ولذلك، اقترحنا استراتيجية الزحف التكيفية المكونة من مرحلتين، كما هو موضح في الشكل التالي. وتنقسم الاستراتيجية بشكل رئيسي إلى مرحلتين:

* مرحلة ما قبل الإمساك: استخدام الاستكشاف اللمسي لجعل المستشعر اللمسي البصري والكائن يصلان إلى حالة اتصال دقيقة مستقرة، مما يمكن أن يبني فهمًا أوليًا لخصائص الكائن

* مرحلة ضبط الاستقرار: تحدد هذه المرحلة استقرار الإمساك بناءً على الكشف الديناميكي عن التشوهات الدقيقة، بحيث يمكن للمستشعر اللمسي البصري والكائن الوصول إلى حالة استقرار نسبي ديناميكي، مما يمكن أن يعزز إدراك خصائص الكائن.

يمكن أن تتكيف هذه الاستراتيجية مع احتياجات الإمساك المختلفة، مثل الإمساك بالتفاح والبيض والإسفنج والعلب وما إلى ذلك. وكما هو موضح في الشكل أدناه، أثناء مرحلة ما قبل الإمساك بالبيضة، يتحرك الروبوت ببطء لإنشاء اعتراف أولي بخصائص الكائن. ثم، خلال مرحلة ضبط الاستقرار، وبسبب الوزن الخفيف للبيضة، لا يحتاج النظام إلا إلى تعديلات طفيفة لإكمال عملية الإمساك دون تدخل كبير.

بالنسبة للمواد مثل الإسفنج، يمكن تكوين حالة اتصال مستقرة نسبيًا في مرحلة ما قبل الإمساك، وبالتالي ليست هناك حاجة لمزيد من تعديل النظام. على النقيض من ذلك، فإن العلب، باعتبارها أشياء ثقيلة، تفشل في الوصول إلى حالة مستقرة تمامًا أثناء الإمساك بها في البداية. أثناء مرحلة ضبط الاستقرار، تميل العلب إلى الانزلاق. سيقوم متحكم PD بضبطها بدقة حتى يتم استيفاء متطلبات الاستقرار، وتنتهي عملية الضبط بالكامل.

كما هو موضح في الشكل أدناه، تظهر اختبارات الإمساك لأشياء مختلفة أن استراتيجية الإمساك التكيفية المكونة من مرحلتين المقترحة لدينا قوية للغاية ويمكنها تحقيق عمليات إمساك مستقرة وموثوقة على أشياء متعددة السمات.

في المستقبل، سوف نستمر في استكشاف تكامل اللمس والتلاعب الماهر، ونسعى جاهدين لتحقيق التلاعب الدقيق والبشري بالروبوتات.

وفي المستقبل، سوف تساعد HyperAI أيضًا مجتمع اللمس المتجسد على مواصلة عقد أنشطة المشاركة عبر الإنترنت، ودعوة الخبراء والعلماء من الداخل والخارج لمشاركة النتائج والرؤى المتطورة. ابقوا متابعين!