Multimodale Bild-Text-Memes sind im Internet weit verbreitet und dienen als eine einzigartige Form der Kommunikation, die visuelle und textuelle Elemente kombiniert, um Humor, Ideen oder Emotionen zu vermitteln. Einige Memes nehmen jedoch eine bösartige Wendung und fördern hasserfüllte Inhalte sowie Diskriminierung. Die Erkennung von hasserfüllten Memes in diesem multimodalen Kontext ist eine herausfordernde Aufgabe, die das Verständnis des miteinander verwobenen Sinns von Text und Bild erfordert. In dieser Arbeit adressieren wir dieses Problem durch den Vorschlag eines neuen Ansatzes namens ISSUES zur Klassifizierung multimodaler hasserfüllter Memes. ISSUES nutzt ein vorab trainiertes CLIP-Bild-Sprachmodell (vision-language model) und die Technik der textuellen Inversion (textual inversion), um den multimodal semantischen Inhalt der Memes effektiv zu erfassen. Die Experimente zeigen, dass unsere Methode auf dem Hateful Memes Challenge und den HarMeme-Datensätzen erstklassige Ergebnisse erzielt. Der Code und die vorab trainierten Modelle sind öffentlich zugänglich unter https://github.com/miccunifi/ISSUES.