Das experimentelle Landschaft in der Verarbeitung natürlicher Sprache für soziale Medien ist zu fragmentiert. Jedes Jahr werden neue gemeinsame Aufgaben und Datensätze vorgeschlagen, die von Klassikern wie der Sentimentanalyse über die Erkennung von Ironie bis hin zur Vorhersage von Emoji reichen. Daher ist unklar, welcher derzeitige Stand der Technik vorliegt, da weder ein standardisierter Evaluationsprotokoll noch eine starke Baseline-Menge existiert, die auf solchen domain-spezifischen Daten trainiert wurde. In diesem Paper stellen wir einen neuen Evaluationsrahmen (TweetEval) vor, der aus sieben heterogenen, Twitter-spezifischen Klassifikationsaufgaben besteht. Zudem bieten wir eine starke Baseline-Menge als Ausgangspunkt an und vergleichen verschiedene Strategien für die Vortrainierung sprachlicher Modelle. Unsere ersten Experimente zeigen die Wirksamkeit, mit bereits existierenden, generischen vortrainierten Sprachmodellen zu beginnen und diese anschließend weiter auf Twitter-Korpora zu trainieren.