Aktuelle Architekturen für multimodale Aufgaben wie Visual Question Answering leiden unter ihrer hohen Komplexität. Dadurch sind diese Architekturen schwer zu trainieren und erfordern hohe Rechenressourcen. Um diese Probleme anzugehen, präsentieren wir eine auf CLIP basierende Architektur, die keiner Feinabstimmung der Merkmalsextraktoren bedarf. Auf den verketteten Features des Bild- und Text-Encoders wird ein einfacher linearer Klassifikator eingesetzt. Während des Trainings wird eine zusätzliche Hilfsverlustfunktion hinzugefügt, die auf den Antworttypen operiert. Das resultierende Klassifikationsergebnis dient anschließend als Aufmerksamkeitsgate zur Auswahl der Antwortklasse. Auf der VizWiz 2022 Visual Question Answering Challenge erreichen wir eine Genauigkeit von 60,15 % bei Aufgabe 1: Vorhersage der Antwort auf eine visuelle Frage, sowie einen AP-Wert von 83,78 % bei Aufgabe 2: Vorhersage der Antwortbarkeit einer visuellen Frage.