HyperAIHyperAI
منذ 17 أيام

الانتباه المُطبّق على التضمينات الكائنية المُتعلّمة يمكّن من الاستدلال البصري المعقد

David Ding, Felix Hill, Adam Santoro, Malcolm Reynolds, Matt Botvinick
الانتباه المُطبّق على التضمينات الكائنية المُتعلّمة يمكّن من الاستدلال البصري المعقد
الملخص

أظهرت الشبكات العصبية نجاحًا واسع النطاق في مجموعة واسعة من المهام الحسية، لكنها غالبًا ما تفشل في المهام التي تتطلب مزيجًا من الإدراك والتفكير على مستوى أعلى. وفي هذه المهام الأصعب، كانت الطرق المخصصة (مثل المكونات الرمزية المودولارية، أو نماذج الديناميات المستقلة، أو محللات المعاني) التي تم تصميمها خصيصًا لتلك النوعية من المهام تحقق أداءً أفضل عادةً. لكن العيب في هذه الطرق المخصصة هو أنها غالبًا ما تكون أكثر هشاشة من الشبكات العصبية العامة، وتتطلب تعديلات كبيرة أو حتى إعادة تصميم كاملة وفقًا للمهمة المحددة. في هذا العمل، نقترح نهجًا أكثر شمولاً يعتمد على الشبكات العصبية لحل المشكلات الديناميكية المُحَسَّسة، ويحقق أداءً من الدرجة الأولى في ثلاث مجالات مختلفة، حيث يتفوق في كل حالة على الطرق المودولارية المخصصة التي تم تكييفها خصيصًا للمهمة. يعتمد نهجنا على تمثيلات متمحورة حول الكائنات المستمدة من التعلم، والانتباه الذاتي (self-attention)، وتعلم الديناميات التلقائي (self-supervised dynamics learning)، ويكون من الضروري أن تتواجد جميع هذه العناصر الثلاثة معًا لظهور أداء قوي. يشير نجاح هذا التجميع إلى أنه قد لا يكون هناك حاجة للاختيار بين المرونة والأداء في المشكلات التي تتضمن تفكيرًا مكانيًا-زمنيًا أو نوعًا من التفكير السببي. ومع وجود التحيّزات اللينة (soft biases) والدوافع التعلّمية المناسبة في الشبكة العصبية، قد نكون قادرين على تحقيق أفضل ما في العالمين معًا.