Dans cet article, nous décrivons notre tentative de créer un classifieur de sentiment Twitter d'avant-garde en utilisant des réseaux de neurones convolutifs (CNNs) et des réseaux de neurones à mémoire à court et long terme (LSTMs). Notre système exploite une grande quantité de données non étiquetées pour pré-entraîner les plongements lexicaux (word embeddings). Nous utilisons ensuite un sous-ensemble des données non étiquetées pour affiner ces plongements par supervision distante. Les CNNs et LSTMs finaux sont entraînés sur le jeu de données Twitter SemEval-2017, où les plongements sont à nouveau affinés. Pour améliorer les performances, nous combinons plusieurs CNNs et LSTMs. Notre approche a obtenu la première place sur chacune des cinq sous-tâches en anglais parmi 40 équipes.