يمكن إنشاء أنماط التطريز بذكاء! أصدر فريق الحوسبة البصرية والمنسوجات الرقمية بجامعة ووهان للنسيج أول نموذج شبكة تنافسية توليدية للتطريز متعدد الغرز، والذي تم قبوله من قبل مجلة TVCG الرائدة

تم وضع التطريز في حديقة الربيع، لجذب طيور الأوريول الصفراء لتستقر على أغصان الصفصاف. باعتباره ممثلاً مهماً للتراث الثقافي غير المادي، يتمتع فن التطريز في بلدي بتاريخ طويل وحرفية رائعة. يستخدم الحرفيون غرزًا مختلفة وخيوطًا حريرية ملونة لعرض أنماط ذات موضوعات غنية بشكل واضح على قطعة من قماش التطريز. في الماضي، كانت تقنيات التطريز معقدة وتتطلب عتبة عالية جدًا، وتتطلب حرفيين يتمتعون بمعرفة مهنية وخبرة عملية لإكمالها.في السنوات الأخيرة، أظهرت الشبكات العصبية التلافيفية (CNNs) قدرات قوية في مهام مثل تصنيف الصور، واكتشاف الكائنات، وتوليد الصور، ونقل الأسلوب. وقد بدأ الباحثون أيضًا في استكشاف استخدام شبكات CNN لتجميع ميزات التطريز في الصور.

ومع ذلك، بسبب الغرز المعقدة، والملمس، وثلاثية الأبعاد للتطريز، فضلاً عن التفاصيل الدقيقة والأنماط غير المنتظمة،لذلك، تواجه CNN قيودًا في تطبيق ميزات التطريز الاصطناعي، مثل عدم القدرة على التنبؤ بأنواع الغرز المختلفة، مما يجعل من الصعب استخراج ميزات الغرز بشكل فعال وبالتالي غير قادر على توليد أنماط تطريز متماسكة وطبيعية بشكل فعال.لذلك، يتعين على المصممين اختيار وتعديل نوع الخياطة واللون المقابل لها يدويًا. غالبًا ما تستغرق هذه العملية الكثير من الوقت لتحقيق التأثير المطلوب.

وفي ضوء ذلك،اقترح فريق الحوسبة البصرية والمنسوجات الرقمية في كلية الكمبيوتر والذكاء الاصطناعي بجامعة ووهان للمنسوجات نموذج شبكة تنافسيّة توليديّة متعددة الغرز للتطريز MSEmbGAN. يعمل MSEmbGAN على تحسين دقة الجوانب الرئيسية مثل واقعية الملمس ودقة الألوان في التطريز، ليصبح أول نموذج شبكة تنافسية توليدية يعتمد على CNN لإكمال ميزات التنبؤ بالتطريز بنجاح.

البحث ذو الصلة يحمل عنوان "MSEmbGAN: تركيب التطريز متعدد الغرز عبر توليد الملمس على أساس المنطقة".تم قبولها من قبل معاملات IEEE للتصور والرسومات الحاسوبية (TVCG)،المؤلف المراسل هو البروفيسور شنغ بين من كلية علوم الكمبيوتر والهندسة في جامعة شنغهاي جياو تونغ. تُعد TVCG مجلة رائدة في مجال التصور الحاسوبي، وهي مدرجة كمجلة من الفئة A من قبل اتحاد الكمبيوتر الصيني (CCF).

أبرز الأبحاث:

* MSEmbGAN هو أول نموذج قائم على التعلم ينجح في تجميع صور التطريز متعددة الغرز التي تحتوي على مجموعة متنوعة من نسيج الغرز والألوان

* تم اقتراح شبكتين فرعيتين تعاونيتين: الأولى هي شبكة توليد نسيج على دراية بالمنطقة لضمان تنوع نسيج التطريز ودقة ميزات الغرز؛ والأخرى هي شبكة تلوين لضمان اتساق الألوان بين الصور المدخلة والمخرجة

* تم إنشاء أكبر مجموعة بيانات للتطريز متعدد الإبر، وهي أيضًا أول مجموعة بيانات للتطريز تحتوي على تعليقات توضيحية مفصلة لملصقات الإبرة المفردة والإبر المتعددة

عنوان الورقة:
https://csai.wtu.edu.cn/TVCG01/index.html

عنوان تنزيل مجموعة البيانات:
https://go.hyper.ai/Jmj9k

يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:

https://github.com/hyperai/awesome-ai4s

مجموعة البيانات: تحتوي على أكثر من 30 ألف صورة، وهي أكبر مجموعة بيانات تطريز معروفة حتى الآن

قام الباحثون بإنتاج أكثر من 30 ألف صورة، بما في ذلك صور التطريز وصور المحتوى المقابلة، باستخدام برنامج التطريز الاحترافي (Wilcom 9.0). وتم تغيير حجم كافة الصور إلى دقة 256×256.ستكون مجموعة بيانات التطريز متعدد الغرز مفتوحة المصدر وسيتم تقديمها للباحثين الآخرين في مجال البحث هذا.

ومن الجدير بالذكر أنتم توضيح الصور الموجودة في مجموعة بيانات التطريز متعدد الإبر باستخدام 4 تسميات:إنها تتوافق مع 3 أنواع من الإبرة المفردة ونوع واحد من الإبر المتعددة (تشير الغرزة المتعددة إلى مزيج من الأنواع الثلاثة ذات الإبرة المفردة). هناك ثلاثة أنواع من الإبر المفردة وهي غرزة الساتان وغرزة التاتامي وغرزة مسطحة.

هذه هي أول مجموعة بيانات للتطريز يتم شرحها بشكل تفصيلي باستخدام تسميات الغرزة المفردة والغرز المتعددة. ويحتوي على أكثر من 13000 صورة تطريز مصفوفة وأكثر من 17000 صورة غير مصفوفة. إنها أكبر مجموعة بيانات للتطريز معروفة حتى الآن.

الخطوات اللازمة لإنشاء مجموعة بيانات تطريز متعددة الغرز هي كما يلي:

* رسم صورة المحتوى: قبل صنع لوحة التطريز، يجب على المطرز رسم صورة المحتوى التي تحتوي على معلومات لون التطريز كقالب. تحتوي معظم صور المحتوى على ألوان بسيطة وأشكال واضحة، مما قد يؤدي إلى تسريع اتصالات الشبكة.

* تصميم اللحامات: بالنسبة لصور المحتوى ذات الأشكال المختلفة، يجب تحديد اللحامات لملء كل منطقة. سيقوم مصمم التطريز بمطابقة نوع الغرزة المناسب لشكل كل منطقة. بالإضافة إلى ذلك، يجب ضبط المعلمات ذات الصلة بكل غرزة (مثل التباعد والاتجاه) بشكل معقول لتسهيل مهام تقديم التطريز اللاحقة.

* إنشاء مجموعة بيانات التطريز: يستخدم مصممو التطريز برامج التطريز الاحترافية (Wilcom 9.0) لتصميم وإنشاء أنماط التطريز وتقديم صور التطريز المقابلة.

هندسة النموذج: تحتوي على شبكتين فرعيتين: شبكة توليد الملمس حسب المنطقة وشبكة التلوين

يقوم نموذج MSEmbGAN أولاً بتحديد أنواع الغرز داخل منطقة الصورة المدخلة، ثم يقوم بإنشاء نسيج التطريز المقابل استنادًا إلى أنواع الغرز المحددة، وأخيرًا يقوم بتحسين اللون العام للنتيجة.

ومن أجل تحقيق الوظائف المذكورة أعلاه اقترح الباحثون شبكتين فرعيتين:وهذا يعني شبكة إنشاء الملمس المدركة للمنطقة (انظر المربع البرتقالي في الشكل أدناه) وشبكة التلوين (انظر المربع الأصفر في الشكل أدناه).

تتكون شبكة توليد الملمس التي تدرك المنطقة من وحدة تصنيف الغرز (Stitch Classifier، انظر المربع الأزرق في الشكل أعلاه) ووحدة توليد الكود الكامن للغرزة (Stitch Latent Code Generator، انظر المربع الأخضر في الشكل أعلاه).تكتشف شبكة توليد الملمس التي تدرك المنطقة مناطق ألوان متعددة للصورة المدخلة C وتولد صورة تطريز بإبرة واحدة بدرجات الرمادي استنادًا إلى ميزات الشكل لكل منطقة لون محلية. تعمل الشبكة الفرعية لشبكة التلوين على تحسين الصورة الإجمالية بشكل أكبر لضمان أن يكون لون صورة القماش متعدد الحياكة الناتجة متوافقًا مع لون الصورة المدخلة.

ونظرًا لتعقيد شبكة توليد الملمس التي تدرك المنطقة، فقد قام الباحثون بتدريبها على خطوتين. الخطوة الأولى هي إنشاء أنسجة التطريز، باستخدام شبكة إعادة البناء للاحتفاظ بأكبر قدر ممكن من ميزات الصورة الأصلية؛ الخطوة الثانية هي إعادة بناء معلومات اللون، باستخدام توزيع غاوسي سابق لتوليد صور التطريز بدون مجموعة بيانات.

نتائج البحث: MSEmbGAN يتفوق على أحدث أساليب تركيب التطريز ونقل الأسلوب

لتقييم أداء نموذج MSEmbGAN، أجرى الباحثون أربعة تقييمات: تقييم كمي ونوعي، واستطلاعات رأي المستخدمين، وتجارب الاستئصال.

التقييم الكمي

في التقييم الكمي، قارن الباحثون طرق نقل الأسلوب مثل Pix2Pix وCycleGAN وMUNIT وDRIT++ استنادًا إلى مجموعة بيانات التطريز متعددة الإبر التي تم إنشاؤها.كما هو موضح في الجدول أدناه، قام الباحثون بقياس نتائج المقارنة وحساب تشابه رقعة الصورة الإدراكية المكتسبة (LPIPS) ومسافة فريشيت التأسيسية (FID).

وتظهر النتائج أنه بالمقارنة مع الطرق الأخرى، تتمتع MSEmbGAN بمسافة LPIPS أقل، مما يعني أن صور التطريز التي تم إنشاؤها بواسطة MSEmbGAN أقرب إدراكيًا إلى صور التطريز الحقيقية.. بالإضافة إلى ذلك، استخدم الباحثون FID لقياس توزيع الميزات لصور التطريز المولدة والصور الحقيقية، وقاموا بتقييم درجات FID.تظهر النتائج أن صور التطريز التي تم إنشاؤها بواسطة MSEmbGAN هي الأقرب إلى الحقيقة الأساسية.

التقييم النوعي

في التقييم النوعي، استخدم الباحثون شبكة توليد نسيج مدركة للمنطقة للحفاظ على أصالة ودقة ألوان نسيج التطريز، مما يجعل النتائج التي تم إنشاؤها بواسطة MSEmbGAN تحتوي على نسيج تطريز متنوع للغاية.تظهر النتائج أن MSEmbGAN يتفوق على الطرق الموجودة في كل من الملمس واللون، أي أن الملمس الناتج باستخدام MSEmbGAN أقرب إلى ملمس التطريز الحقيقي، واللون أقرب إلى ملمس صورة الإدخال.

استطلاع رأي المستخدمين

للحصول على ردود فعل ذاتية من المستخدمين، قام الباحثون بإعداد 14 صورة، تمت معالجة كل منها باستخدام نموذج MSEmbGAN وأربع طرق أخرى، ودعوا 25 مرشحًا لإعطاء كل صورة تم إنشاؤها درجة تتراوح من 1 إلى 5 بناءً على المعايير التالية:

جودة التطريز: ما إذا كانت الصورة المولدة تحتوي على ميزات متعلقة بالتطريز وملمس حيوي

* جودة اللون: تشابه اللون بين الصورة المدخلة والصورة المولدة

* جودة الصورة: درجة تشوه الملمس، وتحول اللون، والضوضاء عالية التردد، وغيرها من التحف الفنية

قام الباحثون بجمع 5250 تقييمًا وحسبوا المتوسط والخطأ المعياري لكل معيار.تشير الدرجة الأعلى إلى أن صورة التطريز المولدة تتمتع بجودة أفضل.وتظهر التفاصيل في الجدول التالي.

وتظهر النتائج أنيتفوق MSEmbGAN على جميع المعايير الثلاثة، كما أن أداؤه الإجمالي أكثر استقرارًا من الطرق الأخرى.

تجربة الاستئصال

بالإضافة إلى ذلك، أجرى الباحثون تجربتين للاستئصال: الأولى للتحقق من دور مصنف الغرز ومولد الكود الكامن للغرزة، والثانية للتحقق من دور شبكة التلوين وقيود اتساق الألوان.

كما هو موضح في الشكل أدناه، (أ) يمثل صورة الإدخال؛ (ب) يمثل صورة التطريز التي تم إنشاؤها عن طريق إزالة مصنف الغرزة C(reg) ومولد الكود المخفي G(slc)؛ (ج) يمثل صورة التطريز التي تم إنشاؤها عن طريق إزالة شبكة التلوين (CN) وقيد تناسق اللون (CC)؛ (د) يمثل صورة التطريز التي تم إنشاؤها باستخدام MSEmbGAN الكامل.

وأظهرت نتائج الاستئصال أنفي حالة عدم وجود مصنف للغرزة ومولد رمز للغرزة المخفية، فإن صور التطريز التي تم تجميعها بواسطة الشبكة تحتوي على نمط نسيج واحد ولا تحتفظ بميزات نمط الغرز المتعددة. ثانياً، عملية إنشاء الملمس غير مستقرة وغير منتظمة.

وبالمثل، إذا تمت إزالة شبكة التلوين وقيود تناسق الألوان، فإن نتائج التطريز التي تم تصنيعها بواسطة MSEmbGAN لا يمكنها الحفاظ على خصائص اللون، مما يؤدي إلى تحول واضح في اللون. وهذا يعني أن هناك فرقًا كبيرًا في توزيع الألوان بين الصورة المولدة والصورة المدخلة.

الالتزام بالتكامل العميق بين تكنولوجيا الكمبيوتر وصناعة النسيج والملابس، وتحقيق نتائج ملحوظة في العديد من المجالات

لقد كان فريق الحوسبة البصرية والمنسوجات الرقمية في كلية الكمبيوتر والذكاء الاصطناعي بجامعة ووهان للمنسوجات ملتزمًا منذ فترة طويلة بالبحث في مجالات الرؤية الحاسوبية والواقع الافتراضي والتعلم المتعدد الوسائط والحوسبة الذكية.نحن نصر على الجمع بين التقنيات المتعلقة بالكمبيوتر وصناعة النسيج والملابس، وقد حققنا سلسلة من النتائج في الأجهزة الذكية القابلة للارتداء، وتصميم الأزياء الذكية والتوصية بها، والتوائم الرقمية للأقمشة والحوسبة الذكية، والتجهيز الافتراضي.وقد نشر أكثر من 100 ورقة أكاديمية في مجلات رفيعة المستوى مثل TVCG و IOT و TCE و KBS و WWW وفي المؤتمرات الدولية التي أوصت بها CCF. ومن بين نتائج الأبحاث التي أجراها الفريق في السنوات الأخيرة ما يلي:

ونظرًا لحقيقة أن طرق التجهيز الافتراضية الحالية تفشل في مراعاة العلاقة بين جسم الإنسان والملابس، مما يؤدي إلى تشويه نسيج الملابس، اقترح الفريق شبكة تجهيز افتراضية ثلاثية الأبعاد واقعية للغاية H3DVT+.تعمل الشبكة على إنشاء علاقة عالمية بين الأشخاص والملابس، ويمكنها تشويه الملابس إلى توزيع مكاني في حالة ملائمة طبيعية، واستنتاج المعلومات المسبقة عن الشكل الثلاثي الأبعاد للملابس بشكل أكثر دقة، وإنشاء نموذج مفصل لجسم الإنسان ثلاثي الأبعاد.

عنوان الورقة:
https://ieeexplore.ieee.org/document/9716786
https://ieeexplore.ieee.org/document/10609455

في البحث الذي أجري على الملابس الذكية الموجودة والتي تستشعر الإشارات الفسيولوجية البشرية، اقترح الفريق طريقة لاكتشاف إشارات التنفس البشرية على مدار الساعة بالاعتماد على معدات استشعار مرنة.يتم استخدام الإشارات التنفسية المستخرجة للكشف عن الربو في الوقت الحقيقي، مما يوفر الدعم النظري لتطبيق الرعاية الصحية الذكية.
عنوان الورقة:
https://ieeexplore.ieee.org/abstract/document/10040599

في نفس الوقت،قام فريق الكلية ببناء نظام ملابس ذكي يتكون من أجهزة استشعار متعددة.قم برسم خريطة لمعلومات حالة جسم الإنسان باستخدام نموذج جسم الإنسان ثلاثي الأبعاد في الوقت الفعلي.تحقيق العرض المتزامن لحالة جسم الإنسان في العالم الحقيقي وحالة نموذج جسم الإنسان في الفضاء الافتراضي ثلاثي الأبعاد.

عنوان الورقة:
https://ieeexplore.ieee.org/document/9964338/

ويتعاون الفريق مع جامعات ومؤسسات بحثية رفيعة المستوى في الداخل والخارج. خاصة،لقد تعاون فريق الحوسبة البصرية والمنسوجات الرقمية لفترة طويلة مع فريق البروفيسور شنغ بين في جامعة شنغهاي جياو تونغ في مشاريع متعددة في مجالات المنسوجات الذكية والصحة الكبيرة، ونشر أكثر من 10 أوراق بحثية رفيعة المستوى.على مدى السنوات الخمس الماضية، نشر البروفيسور شنغ 69 ورقة بحثية في مجال SCI كمؤلف مشارك/أول/مراسل في مجلات Nature Medicine وNature Communications وScience Bulletin وIJCV وIEEE TPAMI وغيرها.

أيضًا،وقد أجرى الفريق تعاونًا معمقًا مع الجامعات ومؤسسات البحث مثل جامعة هونغ كونغ للفنون التطبيقية، وجامعة ولونجونج في أستراليا، ووكالة العلوم والتكنولوجيا في سنغافورة، وجامعة رينمين في الصين في مجالات معالجة اللغة الطبيعية، وتوصيات الأزياء الذكية، والتعلم المتعدد الوسائط، والنماذج الكبيرة.