ソーシャルメディアにおける自然言語処理の実験的枠組みは、あまりにも分散しており、毎年、センチメント分析からイロニー検出、絵文字予測に至るまで、さまざまな共通タスクやデータセットが提案されている。そのため、現在の最先端（SOTA）の状態が明確でない。標準化された評価プロトコルが存在せず、また、こうしたドメイン特化型データに対して事前学習された強力なベースラインも存在しないためである。本論文では、7つの異種のTwitter特化分類タスクから構成される新しい評価フレームワーク（TweetEval）を提案する。併せて、出発点として強力なベースラインを提供し、異なる言語モデル事前学習戦略の比較を行う。初期の実験結果から、既存の汎用言語モデルを事前学習した上で、Twitterコーパス上でさらに微調整（fine-tuning）を行うことで、有効性が示された。