بعد 80,000 لوحة + تدريب التوضيح اليدوي، تعلمت الخوارزمية تقدير اللوحات الشهيرة

غالبًا ما تجسد الأعمال الفنية المشاعر الداخلية للمؤلف، وسيشعر الناس أيضًا بصدى عاطفي عند تقدير قطعة موسيقية أو لوحة فنية. هل يمكن لأجهزة الكمبيوتر فهم المشاعر في الأعمال الفنية؟ ويعمل فريق بحثي بجامعة ستانفورد على تطوير هذه الخوارزمية.

قال ليو تولستوي: "الفن هو نشاط إنساني ينقل فيه الشخص مشاعره إلى الآخرين بوعي من خلال بعض الرموز الخارجية، ويصاب الآخرون أيضًا بهذه المشاعر ويختبرونها حقًا".

خذ اللوحات الفنية كمثال. وراء كل عمل هناك عاطفة معينة لدى الرسام. لقد عبر رسامون مشهورون مثل فان جوخ وبيكاسو عن مزاجهم وعواطفهم الفريدة في أوقات مختلفة من خلال الألوان والتراكيب المختلفة.

هل تستطيع أجهزة الكمبيوتر فهم المشاعر الواردة في هذه الأعمال الفنية؟ قام فريق بحثي متخصص في علوم الكمبيوتر بجامعة ستانفورد بجمع مجموعة بيانات جديدة تسمى ArtEmis، والتي تحتوي على عدد كبير من اللوحات الفنية والتجارب العاطفية المقابلة التي تم شرحها يدويًا، كما قاموا بتدريب نموذج كمبيوتر يمكنه إنتاج استجابات عاطفية للفنون البصرية.

فهم اللوحات، بدءًا من مجموعات بيانات تصنيف المشاعر

WikiArt: متحف إلكتروني للوحات الشهيرة 

WikiArt، وهو مشروع تطوعي غير ربحي، جمع أعمالًا فنية بصرية من جميع أنحاء العالم منذ إطلاقه في عام 2010 ويمكن اعتباره متحفًا كبيرًا عبر الإنترنت للوحات الشهيرة.

وفقًا للموقع الإلكتروني، اعتبارًا من يناير 2020،يحتوي الموقع على 169,057 لوحة فنية من أعمال 3,293 فنانًا، بما في ذلك 61 نوعًا فنيًا.

يحتوي WikiArt على عدد كبير جدًا من اللوحات ذات التصنيف الواضح، لذلك أصبح بمثابة مجموعة بيانات يستخدمها العديد من الباحثين في مجال الذكاء الاصطناعي لتدريب الخوارزميات.

في عام 2015، تعاون باحثون من جامعة روتجرز ومختبر الذكاء الاصطناعي التابع لفيسبوك لتطوير GAN (الشبكة التنافسية التوليدية) وتدريبها على بيانات WikiArt، مما مكّن GAN من التمييز بين أنماط الفن المختلفة.

ArtEmis: مجموعة بيانات جديدة ولدت من WikiArt 

قام فريق جامعة ستانفورد بإنشاء مجموعة بيانات جديدة لتوضيح الفنون البصرية تسمى ArtEmis استنادًا إلى الأعمال الموجودة على WikiArt.

قاموا بشرح 81,446 عملاً فنياً لـ 1,119 فنانًا على WikiArt.تتراوح هذه الأعمال من الأعمال الفنية التي تم إنشاؤها في القرن الخامس عشر إلى اللوحات الفنية الحديثة التي تم إنشاؤها في القرن الحادي والعشرين، وتغطي 27 أسلوبًا فنيًا (التجريدي، الباروكي، التكعيبي، الانطباعية، إلخ) و 45 نوعًا (المناظر الطبيعية الحضرية، المناظر الطبيعية، الصور الشخصية، الحياة الساكنة، إلخ)، مما يجلب تأثيرًا بصريًا متنوعًا للغاية للجمهور.

يتطلب كل عمل ما لا يقل عن خمسة معلقين لتسجيل مشاعرهم السائدة عندما يرون اللوحة وشرح أسباب هذه المشاعر.

خاصة،بعد ملاحظة قطعة فنية، يُطلب من المحرر أن يختار أولاً إحدى الحالات العاطفية الأساسية الثمانية (الغضب، الاشمئزاز، الخوف، الحزن، التسلية، الرهبة، الرضا والإثارة) باعتبارها العاطفة الرئيسية التي يشعر بها. إذا لم يكن أيًا من المشاعر الثمانية المذكورة أعلاه، فيمكنك أيضًا وضع علامة "أخرى".

بعد تحديد المشاعر العاطفية، يحتاج المحرر إلى استخدام الكلمات لشرح سبب شعوره بهذه الطريقة أو سبب عدم وجود رد فعل عاطفي قوي.

فيما يلي العلامات العاطفية التي أعطاها المعلقون البشريون للوحات، إلى جانب الشروحات التفصيلية:

وفي نهاية المطاف، تم إكمال عملية وضع العلامات بواسطة 6,377 من صانعي العلامات على منصة أمازون للتمويل الجماعي، واستغرق الأمر ما مجموعه 10,220 ساعة.

وقال الفريق إنه بالمقارنة مع مجموعات البيانات المماثلة الأخرى الموجودة،تستخدم تعليقات ArtEmis لغة أكثر ثراءً وعاطفية وتنوعًا، ويحتوي النص الذي تشكله هذه التعليقات على ما مجموعه 36347 كلمة مختلفة.

أرت إيميسمجموعة بيانات تصنيف المشاعر للفنون البصرية) تفاصيل:

وكالة النشر:جامعة ستانفورد، كلية البوليتكنيك، وجامعة الملك عبد الله للعلوم والتقنية

الكمية المتضمنة:تم التعليق على ما مجموعه 439121 لوحة

تنسيق البيانات:ملف CSV حجم البيانات:21.8 ميجابايت

عنوان:https://orion.hyper.ai/datasets/14861

كيفية إنشاء خوارزمية يمكنها إدراك المشاعر

ولتمكين أجهزة الكمبيوتر من الاستجابة العاطفية للفنون البصرية مثل البشر واستخدام اللغة لتبرير أسباب هذه المشاعر، قام الفريق بتدريب متحدث عصبي استنادًا إلى مجموعة البيانات واسعة النطاق هذه.

وقال غيباس، أستاذ في معهد HAI بجامعة ستانفورد، إن هذا يمثل استكشافًا جديدًا في مجال الرؤية الحاسوبية. غالبًا ما كانت طرق الرؤية الحاسوبية الكلاسيكية السابقة تشير إلى ما يوجد في الصورة، مثل: هناك ثلاثة كلاب؛ شخص ما يشرب القهوة... وعمله هو تحديد المشاعر في الفنون البصرية.

بعد التدريب على مجموعة بيانات ArtEmis،تتعرف الخوارزمية على المشاعر الموجودة في اللوحات المختلفة وتولد تلقائيًا الأساس لمثل هذا الحكم.نتائج المثال هي كما يلي:

تقدم الورقة أفكارًا تدريبية محددة.أولاً، يتم استخدام ArtEmis لتدريب النموذج لحل مشكلة التفسير العاطفي للوحات الفنية.هذه مشكلة تصنيف نصي كلاسيكية ذات 9 اتجاهات، وقد استخدم الفريق تحسينًا قائمًا على الانتروبيا المتقاطعة تم تطبيقه على مصنف نص LSTM تم تدريبه من الصفر، مع مراعاة أيضًا ضبط نموذج BERT المدرب مسبقًا لهذه المهمة.

وبالإضافة إلى ذلك، فإن الكمبيوتر قادر على التنبؤ بردود الفعل العاطفية التي عادة ما تكون لدى البشر تجاه العمل.

ولمعالجة هذه المشكلة، قام الفريق بضبط برنامج ترميز ResNet32 المدرب مسبقًا على ImageNet من خلال تقليل تباعد KL بين الإخراج وتعليقات المستخدم الخاصة بـ ArtEmis.

بالنسبة للوحة معينة، يقوم المصنف أولاً بتحديد ما إذا كانت العاطفة التي تنقلها إيجابية أم سلبية، ثم يحدد بعد ذلك العاطفة المحددة التي هي عليها.

مقدمة الفريق،بالنسبة للوحة، لا تستطيع الخوارزمية إدراك اللون العاطفي العام فحسب، بل تستطيع أيضًا التمييز بين مشاعر الشخصيات المختلفة في اللوحة.وباستخدام لوحة "قطع رأس القديس يوحنا المعمدان" لرامبرانت كمثال، لم تتمكن خوارزمية الذكاء الاصطناعي من التقاط ألم قطع رأس يوحنا فحسب، بل أدركت أيضًا "رضا" سالومي، المرأة التي تم تقديم رأسها في اللوحة.

عندما يكون لدى الخوارزميات التعاطف

إن العواطف الإنسانية غنية جدًا ومعقدة ودقيقة. حتى نحن البشر لا نستطيع أن نفهم تمامًا المشاعر التي يريد بعض الفنانين التعبير عنها. ومن ثم، فمن المؤكد أن هناك تحديات معينة في السماح للذكاء الاصطناعي بفهم نوايا الفنان بدقة.

ومع ذلك، فإن إصدار مجموعة بيانات ArtEmis سمح للذكاء الاصطناعي باتخاذ الخطوة الأولى في معالجة السمات العاطفية للصور.

وقال الفريق إنه بعد إجراء المزيد من الأبحاث والتحسينات، قد تتمكن الخوارزمية من إدراك الأفراح والأحزان البشرية، ويمكن للفنانين استخدام الخوارزمية لتقييم ما إذا كانت أعمالهم قادرة على تحقيق تأثير التعبير العاطفي المتوقع. وبالإضافة إلى ذلك، بمجرد أن تتمكن الخوارزمية من فهم الطبيعة البشرية، فإن عملية التفاعل بين الإنسان والحاسوب ستصبح أكثر طبيعية وتناغمًا.

مصدر الخبر:

https://techxplore.com/news/2021-03-artist-intent-ai-emotions-visual.html

ورقة البيانات: https://arxiv.org/pdf/2101.07396.pdf

الصفحة الرئيسية للمشروع: https://www.artemisdataset.org/#videos