HyperAIHyperAI
منذ 17 أيام

PatchFormer: محول نقطي فعّال مع انتباه الشريحة

Zhang Cheng, Haocheng Wan, Xinyi Shen, Zizhao Wu
PatchFormer: محول نقطي فعّال مع انتباه الشريحة
الملخص

يشهد مجتمع تعلم السحابة النقطية تحوّلاً في النماذج من الشبكات العصبية التلافيفية (CNNs) نحو المُحَوِّلات (Transformers)، حيث حققت الهياكل النموذجية الخالصة من المُحَوِّلات أعلى دقة على المعايير الرئيسية لتعلم السحابة النقطية. ومع ذلك، تُعد المُحَوِّلات النقطية الحالية باهظة التكلفة من حيث الحوسبة، نظرًا لاحتياجها إلى إنشاء خريطة انتباه كبيرة، والتي تمتلك تعقيدًا تربيعيًا (من حيث المساحة والزمن) بالنسبة لحجم المدخلات. ولحل هذه المشكلة، نقدّم تقنية "الانتباه باللُّبَنَات" (Patch ATtention - PAT)، التي تُعلّم بشكل تكيفي مجموعة أصغر بكثير من الأساسيات التي تُبنى عليها خرائط الانتباه. وباستخدام مجموع موزون لهذه الأساسيات، تُسهم PAT في التقاط السياق الشكلي العالمي، كما تحقق تعقيدًا خطيًا بالنسبة لحجم المدخلات. بالإضافة إلى ذلك، نقترح كتلة انتباه خفيفة الوزن تُسمى "MST" (Multi-Scale aTtention)، والتي تُبنى لبناء انتباه بين ميزات ذات مقاييس مختلفة، مما يزوّد النموذج بخصائص متعددة المقاييس. وباستخدام كل من PAT وMST، نُنشئ بنية عصبية تُسمى "PatchFormer"، والتي تدمج هذين المكوّنين ضمن إطار متكامل لتعلم السحابة النقطية. تُظهر التجارب الواسعة أن شبكتنا تحقق دقة مماثلة في المهام العامة لتعلم السحابة النقطية، مع تسريع بنسبة 9.2 مرة مقارنةً بالمحوّلات النقطية السابقة.

PatchFormer: محول نقطي فعّال مع انتباه الشريحة | أحدث الأوراق البحثية | HyperAI