مُطَابِق: تجزئة أي شيء باستخدام مثال واحد عبر التطابق المميز العام

بفضل التدريب المسبق على نطاق واسع، تُظهر نماذج الرؤية الأساسية إمكانات كبيرة في فهم الصور في البيئات المفتوحة. ومع ذلك، على عكس نماذج اللغة الكبيرة التي تتفوق في معالجة مهام اللغة بشكل مباشر، تتطلب نماذج الرؤية الأساسية بنية نموذج مخصصة لكل مهمة، تليها عملية التدريب الدقيق (fine-tuning) على المهام المحددة. في هذا العمل، نقدم "Matcher"، نموذجًا جديدًا للإدراك يعتمد على نماذج الرؤية الأساسية الجاهزة لمعالجة مجموعة متنوعة من مهام الإدراك. يتمكن Matcher من تقسيم أي شيء باستخدام مثال سياقي واحد دون الحاجة إلى التدريب. علاوةً على ذلك، قمنا بتصميم ثلاث مكونات فعالة ضمن إطار Matcher لتعمل بالتآزر مع هذه النماذج الأساسية، مما يُحرر كامل إمكاناتها في مهام الإدراك المتنوعة. تُظهر نتائج Matcher أداءً م generalize متميزًا في مختلف مهام التقسيم، وبلا تدريب مسبق. على سبيل المثال، حقق 52.7% من mIoU على مجموعة COCO-20$^i$ باستخدام مثال واحد فقط، متفوقًا على النموذج المتخصص الرائد بفارق 1.6%. كما حقق Matcher 33.0% من mIoU على مجموعة LVIS-92$^i$ المُقترحة لمهام التقسيم الشامل (one-shot semantic segmentation)، متفوقًا على النموذج العام الرائد بنسبة 14.4%. تُظهر نتائج التصورات التي قمنا بها أيضًا الكفاءة والقدرة على التعميم في البيئات المفتوحة، بالإضافة إلى المرونة التي يتمتع بها Matcher عند تطبيقه على صور من البيئة الواقعية. يمكن الوصول إلى الشفرة المصدرية الخاصة بنا عبر الرابط: https://github.com/aim-uofa/Matcher.