L'utilisation généralisée des plateformes de médias sociaux a accru le risque d'agression, entraînant un stress mental et affectant négativement la vie des individus, notamment par la souffrance psychologique, les comportements de combat et le manque de respect envers autrui. La majorité de ces conversations contiennent des langues mixtes [28]. De plus, le mode d'expression des pensées ou le style de communication varie d'une plateforme à l'autre (par exemple, les styles de communication sur Twitter et Facebook sont différents). Tous ces facteurs ont augmenté la complexité du problème. Pour résoudre ces problèmes, nous avons introduit une architecture de deep learning multi-modale unifiée et robuste qui fonctionne pour les jeux de données anglais mixte et monolingue anglais. Le système conçu utilise des caractéristiques psycho-linguistiques et linguistiques très basiques. Notre architecture de deep learning multi-modale comprend un Deep Pyramid CNN, un Pooled BiLSTM et un RNN déconnecté (avec les embeddings Glove et FastText, tous deux). Enfin, le système prend sa décision en se basant sur la moyenne des modèles. Nous avons évalué notre système sur le jeu de données anglais mixte TRAC 2018 et sur un jeu de données anglais monolingue obtenu à partir de Kaggle. Les résultats expérimentaux montrent que notre système proposé surpassent toutes les approches précédentes pour les jeux de données anglais mixte et monolingue anglais.