Die Erkennung von Emotionen in Sprache ist ein entscheidender Baustein für die nächste Generation der Mensch-Computer-Interaktion (HCI). Derzeit beschränken jedoch bestehende, kleinere Datensätze die Entwicklung verwandter Forschung erheblich. In diesem Artikel stellen wir LSSED vor, einen anspruchsvollen, großskaligen Datensatz für englischsprachige Emotionserkennung in Sprache, der Daten von 820 Probanden enthält und eine Verteilung nach realen Bedingungen simuliert. Zudem veröffentlichen wir mehrere vortrainierte Modelle auf Basis von LSSED, die nicht nur die Entwicklung der Sprachemotionserkennung fördern, sondern auch auf verwandte nachgeschaltete Aufgaben wie die Analyse psychischer Gesundheit übertragen werden können, bei denen die Datensammlung äußerst schwierig ist. Schließlich zeigen unsere Experimente die Notwendigkeit großskaliger Datensätze sowie die Wirksamkeit vortrainierter Modelle. Der Datensatz wird unter https://github.com/tobefans/LSSED veröffentlicht.