مع الزيادة المستمرة في شعبية نماذج المحولات البصرية (ViTs) وحجمها، تزايد الاهتمام بجعلها أكثر كفاءة وتقليل التكلفة الحسابية لتشغيلها على الأجهزة الطرفية المحدودة الموارد الحاسوبية. يمكن استخدام التبديل الثنائي (Binarization) لتقليل حجم نماذج ViTs والتكاليف الحسابية بشكل كبير، باستخدام عمليات العد (popcount) عندما تكون الأوزان والتنشيطات ثنائية. ومع ذلك، تُظهر نماذج ViTs انخفاضًا أشد في الأداء عند تطبيق طرق التبديل الثنائية الخاصة بالشبكات العصبية التلافيفية (CNNs) أو الطرق الحالية للتبديل الثنائي عليها مقارنةً بالـ CNNs، خاصةً على مجموعات بيانات تحتوي على عدد كبير من الفئات مثل ImageNet-1k. ومن خلال تحليل واسع، وجدنا أن نماذج ViT الابتدائية الثنائية، مثل DeiT، تفتقر إلى العديد من الخصائص المعمارية الأساسية التي تمتلكها الشبكات التلافيفية، والتي تُمكّن الشبكات الثنائية من CNNs من امتلاك قدرة تمثيلية أعلى بكثير من نماذج ViT الثنائية الابتدائية. ولذلك، نقترح نموذج BinaryViT، الذي يُستلهم من بنية CNN، حيث نُدرج عمليات من بنية CNN داخل بنية ViT نقية بهدف تحسين قدرة التمثيل في نموذج ViT الثنائي دون إدخال عمليات تلافيفية. وتشمل هذه العمليات: طبقة تجميع متوسط (average pooling) بدلًا من طبقة تجميع الرموز (token pooling)، ووحدة تحتوي على فروع متعددة من التجميع المتوسط، وتحويل تربيعي (affine transformation) مباشرة قبل عملية الجمع في كل اتصال تفرع رئيسي (residual connection)، بالإضافة إلى بنية هرمية (pyramid structure). وأظهرت النتائج التجريبية على مجموعة بيانات ImageNet-1k فعالية هذه العمليات، مما يسمح لنموذج ViT الثنائي النقي أن يكون منافسًا فعّالًا للنماذج الثنائية المتطورة حديثًا (SOTA) من CNNs.