التدريب المسبق للرؤية واللغة (VLP) قد أدى إلى تحسين الأداء في مجموعة متنوعة من المهام النهائية المشتركة بين الرؤية واللغة. تعتمد الطرق الحالية لـ VLP بشكل كبير على عمليات استخراج الخصائص الصورية، والتي تشمل معظمها الإشراف الإقليمي (مثل اكتشاف الكائنات) والهيكل الشبكي التوافقي (مثل ResNet). رغم إهمال هذه المسألة في الأدبيات العلمية، نجد أنها مشكلة من حيث (1) الكفاءة/السرعة، حيث أن استخراج الخصائص الدخل ببساطة يتطلب حسابات أكثر بكثير من خطوات التفاعل متعدد الوسائط؛ و(2) القوة التعبيرية، فهي مقيدة بأعلى حد للقوة التعبيرية للمدمج البصري ولغته البصرية المحددة مسبقًا. في هذا البحث، نقدم نموذج VLP بسيطًا الحد الأدنى، وهو محول الرؤية واللغة (ViLT)، بمفهوم موحد بحيث يتم تبسيط معالجة المدخلات البصرية بشكل كبير إلى نفس الطريقة الخالية من الشبكات التوافقية التي نعالج بها المدخلات النصية. نظهر أن ViLT أسرع بمقدار عشرات المرات من النماذج السابقة لـ VLP، ومع ذلك يحقق أداءً تنافسيًا أو أفضل في المهام النهائية. رمزنا ومعلماتنا المسبقة متاحة على https://github.com/dandelin/vilt.