Moshe Kimhi Erez Koifman Ehud Rivlin Eli Schwartz Chaim Baskin

الملخص

نُقدِّم نموذج WAVECLIP، وهو نموذج موحد واحد للاستنتاج بحلقة تكيفية في CLIP، مُمكّن عبر تجزئة مبنية على التحويل الموجي (wavelet-based tokenization). يستبدل WAVECLIP التضمينات القياسية للقطع (patch embeddings) بتحليل متعدد المستويات باستخدام التحويل الموجي، ما يسمح للنموذج بمعالجة الصور من التفاصيل الخشنة إلى الدقيقة، مع دعم طبيعي لعدد من الدقائق المختلفة ضمن نموذج واحد. أثناء الاستنتاج، يبدأ النموذج باستخدام رموز ذات دقة منخفضة، ويُجري التحسين فقط عند الحاجة، مستخدمًا تخزينًا للقيم المفتاحية (key-value caching) والانتباه التسلسلي بين المستويات (causal cross-level attention) لإعادة استخدام الحسابات، مما يضمن دمج المعلومات الجديدة فقط عند الضرورة. قمنا بتقييم WAVECLIP في المهام التصنيفية بدون تدريب مسبق (zero-shot classification)، وبيّننا أن آلية تصفية بسيطة تعتمد على مستوى الثقة تُمكّن من الخروج المبكر التكيفي. هذا يتيح للمستخدمين اختيار توازن ديناميكي بين كمية الحوسبة والدقة باستخدام نموذج واحد مُنشور. يعتمد نهجنا على عملية تدريب خفيفة (lightweight distillation) من نموذج معلم CLIP ثابت (frozen CLIP teacher)، ويحقق دقة تنافسية مع توفير كبير في الحوسبة.